Fuzzy String Buscando con Whoosh en Python

Question

He creado una gran base de datos de bancos en MongoDB. Puedo tomar esta información fácilmente y crear índices con ella en whoosh. Por ejemplo, me gustaría poder hacer coincidir los nombres de los bancos 'Eagle Bank & Trust Co of Missouri' y 'Eagle Bank and Trust Company of Missouri'. El siguiente código funciona con una simple difusa tal, pero no puede alcanzar un partido en lo anterior:

from whoosh.index import create_in 
from whoosh.fields import * 

schema = Schema(name=TEXT(stored=True)) 
ix = create_in("indexdir", schema) 
writer = ix.writer() 

test_items = [u"Eagle Bank and Trust Company of Missouri"] 

writer.add_document(name=item) 
writer.commit() 

from whoosh.qparser import QueryParser 
from whoosh.query import FuzzyTerm 

with ix.searcher() as s: 
    qp = QueryParser("name", schema=ix.schema, termclass=FuzzyTerm) 
    q = qp.parse(u"Eagle Bank & Trust Co of Missouri") 
    results = s.search(q) 
    print results 

me da:

<Top 0 Results for And([FuzzyTerm('name', u'eagle', boost=1.000000, minsimilarity=0.500000, prefixlength=1), FuzzyTerm('name', u'bank', boost=1.000000, minsimilarity=0.500000, prefixlength=1), FuzzyTerm('name', u'trust', boost=1.000000, minsimilarity=0.500000, prefixlength=1), FuzzyTerm('name', u'co', boost=1.000000, minsimilarity=0.500000, prefixlength=1), FuzzyTerm('name', u'missouri', boost=1.000000, minsimilarity=0.500000, prefixlength=1)]) runtime=0.00166392326355> 

¿Es posible lograr lo que quiero con Whoosh? Si no, ¿qué otras soluciones basadas en Python tengo?

Answer 1

Usted podría partido Co con Company usando la búsqueda difusa en Whoosh pero No debe hacer porque la diferencia entre Co y Company es grande. Co es similar a Company como Be es similar a Beast y ny a , Usted puede imaginar qué tan malos y qué tan grandes serán los resultados de búsqueda.

Sin embargo, si desea hacer coincidir Compan o compani o Companee a Company que podría hacerlo mediante el uso de una clase personalizada de FuzzyTerm con defecto maxdist igual a 2 o más:

maxdist - El máximo editar la distancia desde el texto dado.

class MyFuzzyTerm(FuzzyTerm): 
    def __init__(self, fieldname, text, boost=1.0, maxdist=2, prefixlength=1, constantscore=True): 
     super(MyFuzzyTerm, self).__init__(fieldname, text, boost, maxdist, prefixlength, constantscore) 

continuación:

qp = QueryParser("name", schema=ix.schema, termclass=MyFuzzyTerm) 

Se podría coincidir con CoCompany estableciendo maxdist-5 pero como dije dan malos resultados de búsqueda. Sugiero mantener maxdist de 1 a 3.

Si buscas una coincidencia de una palabra en las variaciones lingüísticas, es mejor utilizar whoosh.query.Variations.

Nota: versiones anteriores de Whoosh tienen minsimilarity en lugar de maxdist.

Answer 2

Tal vez algunas de estas cosas podría ayudar (la coincidencia de cadenas de código abierto por los chicos SeatGeek):

https://github.com/seatgeek/fuzzywuzzy

Answer 3

Para referencia futura, y tiene que haber una mejor manera de hacer esto de alguna manera, pero aquí es mi Disparo.

# -*- coding: utf-8 -*- 
import whoosh 
from whoosh.index import create_in 
from whoosh.fields import * 
from whoosh.query import * 
from whoosh.qparser import QueryParser 

schema = Schema(name=TEXT(stored=True)) 
idx = create_in("C:\\idx_name\\", schema, "idx_name") 

writer = idx.writer() 

writer.add_document(name=u"This is craaazy shit") 
writer.add_document(name=u"This is craaazy beer") 
writer.add_document(name=u"Raphaël rocks") 
writer.add_document(name=u"Rockies are mountains") 

writer.commit() 

s = idx.searcher() 
print "Fields: ", list(s.lexicon("name")) 
qp = QueryParser("name", schema=schema, termclass=FuzzyTerm) 

for i in range(1,40): 
    res = s.search(FuzzyTerm("name", "just rocks", maxdist=i, prefixlength=0)) 
    if len(res) > 0: 
     for r in res: 
      print "Potential match (%s): [ %s ]" % (i, r["name"]) 
     break 
    else: 
     print "Pass: %s" % i 

s.close() 

Answer 4

Se puede usar esta función de abajo para buscar la pelusa de un conjunto de palabras en contra de una frase:

def FuzzySearch(text, phrase): 
    """Check if word in phrase is contained in text""" 
    phrases = phrase.split(" ") 

    for x in range(len(phrases)): 
     if phrases[x] in text: 
      print("Match! Found " + phrases[x] + " in text") 
     else: 
      continue