Lucene.Net Underscores causando división de tokens

Question

He creado un script de tablas de bases de datos, vistas y procedimientos almacenados de MsSqlServer en una estructura de directorios que luego estoy indexando con Lucene.net. La mayoría de los nombres de mi tabla, vista y procedimiento contienen guiones bajos.

Uso el StandardAnalyzer. Si consulto una tabla llamada tIr_ InvoiceBtnWtn01, por ejemplo, recibo visitas para tIr y para InvoiceBtnWtn01, en lugar de solo para _InvoiceBtnWtn01.

Creo que el problema es que el tokenizer se está dividiendo en _ (guión bajo) ya que es la puntuación.

¿Hay alguna manera (simple) de eliminar los guiones bajos de la lista de puntuación o hay otro analizador que debería usar para sql y lenguajes de programación?

Answer 1

Sí, el StandardAnalyzer se divide en guión bajo. WhitespaceAnalyzer no. Tenga en cuenta que puede usar PerFieldAnalyzerWrapper para usar diferentes analizadores para cada campo; es posible que desee conservar parte de la funcionalidad del analizador estándar para todo excepto en el nombre de tabla/columna.

WhitespaceAnalyzer solo hace divisiones en espacios en blanco. No minúsculas sus tokens, por ejemplo. Por lo tanto, es posible que desee crear su propio analizador que combine WhitespaceTokenizer y LowercaseFilter, o busque en LowercaseTokenizer.

EDIT: analizador personalizado simple (en C#, pero se puede traducir a Java con bastante facilidad):

// Chains together standard tokenizer, standard filter, and lowercase filter 
class MyAnalyzer : Analyzer 
{ 
    public override TokenStream TokenStream(string fieldName, System.IO.TextReader reader) 
    { 
     StandardTokenizer baseTokenizer = new StandardTokenizer(Lucene.Net.Util.Version.LUCENE_29, reader); 
     StandardFilter standardFilter = new StandardFilter(baseTokenizer); 
     LowerCaseFilter lcFilter = new LowerCaseFilter(standardFilter); 
     return lcFilter; 
    } 
}