sqlite-fts3: tokenizer personalizado?

Question

¿Alguien de aquí tiene experiencia en la escritura de tokenizadores personalizados FTS3 (la extensión de búsqueda de texto completo)? Estoy buscando un tokenizer que ignorará las etiquetas HTML.

Gracias.

Answer 1

No tengo experiencia directa, pero al hacer una búsqueda web con "sqlite3 registerTokenizer" encontré dos tokenizers que pueden usarse como base: a snowball tokenizer y a MeCab tokenizer.