2010-09-15 40 views
8

¿Dónde puedo encontrar un método para configurar elásticoSearch usando Postgres?configurando elasticSearch con Postgresql

Mis tamaños de campo serán aproximadamente 350mb, sí, MB, cada uno en tamaño. Tengo un resultado de texto de todo el Código de EE. UU. Y todas las decisiones de todos los tribunales, Estatutos en general, prácticamente todo lo que encontraría en una biblioteca, y necesito poder hacer búsquedas de texto completo y regresar el punto exacto en el campo de la aplicación para devolver la página exacta en formato PDF. Postgres puede manejar fácilmente el almacén de datos, pero nunca he utilizado Elasticsearch y no tienen idea de cómo se integra en la indexación, etc.

Respuesta

0

En este momento, no creen que está fuera de la integración inmediata. Debería escribir un código de pegamento para extraer datos de SQL y enviarlos a elasticsearch (o viceversa).

Yo recomendaría pedir en el foro de grupos elástica búsqueda en Google: http://groups.google.com/a/elasticsearch.com/group/users/topics?pli=1

Shay Banon, el principal contribuyente/mantenedor es extremadamente útil.

Best Regards, Paul

+0

Fui al grupo de google para elasticsearch y no obtuve respuesta; Decidí instalar tsearch2. Escribí un script bash para leer los archivos de la forma en que los quería analizar, insertarlos en las tablas y luego hacer una actualización de los índices. finalmente terminé con solo unos pocos millones de registros, los tamaños de campo terminaron mucho más pequeños de lo esperado porque utilicé el pdftk para convertirlo en texto y luego eliminé un montón de material redundante en una tabla normalizada a través de una restricción de clave externa. el cursor de la tecla principal regresa tan rápido que es imperceptible. Estoy escribiendo un punto de referencia al lado de simular la carga. –

+0

Muy extraño, ¿quizás no pasó? No veo la pregunta en el foro, pero podría perderla. Me alegra que un enfoque más personalizado esté funcionando, sin embargo. – ppearcy

3

Hay una aplicación que se puede utilizar para importar SQL Server, Oracle, PostgreSQL MySQL, etc., en un índice Elasticsearch.

http://code.google.com/p/ogr2elasticsearch/

Por favor, hágamelo saber si usted tiene problemas para cualquier edificio o usarlo. ~ Adam

9

A partir de 2015, hay ZomboDB (https://github.com/zombodb/zombodb). Como autor, soy un poco parcial, pero es bastante poderoso. ;)

Es una extensión de Postgres y un complemento de Elasticsearch que le permite "CREAR ÍNDICES" que utilizan un clúster elástico de Elasticsearch, y expone un lenguaje de consulta bastante poderoso para realizar búsquedas de texto completo.

Como es un índice real en Postgres, el clúster de ES se sincroniza automáticamente a medida que INSERT/UPDATE/DELETE registros. Como tal, no hay necesidad de procesos de sincronización asincrónica.

Además, como es un índice real, es seguro para transacciones, lo que significa que las sesiones concurrentes de Postgres solo verán los resultados que son consistentes con su transacción actual.

Aquí hay un link al tutorial de ZomboDB. Debería darte una idea de lo fácil que es usar ZomboDB.

+1

cómo importar a granel desde postgres a elasticsearch en windows usando zombodb –

+1

Lo siento, no controlo StackOverflow. ZomboDB no es compatible con Windows.Las solicitudes de extracción son bienvenidas en https://github.com/zombodb/zombodb –