Lista de "tokens" en Lucene 3

Question

Soy nuevo en Lucene, comencé a aprender la rama de la versión 3 y hay algo que no entiendo (obviamente porque no tengo experiencia en el tema).

En Lucene 2.9, si quisiera una lista de tokens, crearía una clase ArrayList of Token, ArrayList por ejemplo. Eso es bastante intuitivo para mí y el concepto de token es muy claro.

Ahora que el uso de la clase Token no se fomenta a favor de la API basada en atributos, ¿tengo que crear mi propia clase para encapsular los atributos que quiero? Si es así, ¿no es eso casi una recreación de la clase Token de Lucene?

Estoy haciendo una clase para probar analizadores, y tener una lista de tokens resultantes hace que sea más fácil de probar, supongo.

Cualquier ayuda sería apreciada;) ¡Gracias!

Answer 1

Según Token Javadoc, "Aunque no es necesario y para usar Token más, con la nueva API TokenStream se puede usar como una clase de conveniencia que implementa todos los Atributos, lo que es especialmente útil para cambiar fácilmente de la antigua a la nueva API de TokenStream ".

Le sugiero que siga usando un Token. Se corresponde con la descripción anterior.

Answer 2

Creo que se puede hacer algo como esto:

TokenStream tkst = analyzer.tokenStream("field", "text");
Token token = tkst.getAttribute(Token.class);
while (tkst.incrementToken()) {
// Do something with token.
}

La documentación se encuentra en el paquete de análisis: http://lucene.apache.org/java/3_0_2/api/all/org/apache/lucene/analysis/package-summary.html

Answer 3

utilizar la clase TermAttribute:

TokenStream stream = analyzer.tokenStream("field", "text"); 
TermAttribute termAttr = stream.getAttribute(TermAttribute.class); 
while (stream.incrementToken()) { 
    String token = termAttr.term(); 
}