búsqueda aproximada en una base de datos

Question

Tengo una gran base de datos con una lista de instituciones (universidades, hospitales, etc.). Los nombres de las instituciones provienen de diferentes fuentes y se pueden escribir de manera diferente para la misma institución. Pueden escribirse mal, por ejemplo, o las palabras pueden acortarse ("uni", o "univ" o "universidad")

Dado el nombre que necesito insertar en la base de datos, ¿hay alguna forma práctica? para encontrar si esta institución ya está en la base de datos? Este no es un proyecto de investigación, entonces estoy buscando una solución que sea razonablemente rápida.

Estoy usando django y postgresql, pero no importa, supongo.

Answer 1

Este es el problema de record linkage. Muchas bases de datos proporcionan métodos básicos para este tales como el carácter de nivel n coincidente -gramo, donde un término como "universidad" se expande en

[ "uni", "niv", "ive", "ver", "res", ...]

para n = 3. La base de datos de índice de tales n -grams y permitir una búsqueda con algún tipo de juego ponderada. pg_trgm parece hacer exactamente esto, pruébelo.

Answer 2

Parece que quiere encontrar un valor en la base de datos con una pequeña distancia léxica del valor que le da. Encontrar cosas con prefijos es bastante sencillo, pero las palabras mal escritas son más difíciles. Es posible que desee leer Peter Norvig's post on spell correctors.

Answer 3

Probablemente deberías utilizar un motor de búsqueda dedicado. Django-haystack le permite fácilmente agregar motores de búsqueda como Solr, Whoosh o Xapian a su proyecto.