Tweet Classifier Feature-Selection NLTK

Question

Actualmente estoy tratando de clasificar Tweets usando el clasificador Naive Bayes en NLTK. Estoy clasificando tweets relacionados con símbolos de acciones en particular, usando el prefijo '$' (por ejemplo: $ AAPL). He estado basando mi secuencia de comandos de Python en esta publicación de blog: Twitter Sentiment Analysis using Python and NLTK. Hasta ahora, he estado obteniendo resultados razonablemente buenos. Sin embargo, creo que hay mucho, mucho margen de mejora.

En mi método de selección de palabras, decidí implementar el algoritmo tf-idf para seleccionar las palabras más informativas. Sin embargo, después de haber hecho esto, sentí que los resultados no fueron tan impresionantes.

Implementé la técnica en el siguiente blog: Text Classification Sentiment Analysis Eliminate Low Information Features. Los resultados fueron muy similares a los obtenidos con el algoritmo tf-idf, lo que me llevó a inspeccionar más detenidamente la lista de "características más informativas" de mi clasificador. Entonces fue cuando me di cuenta de que tenía un problema mayor:

Los tweets y el lenguaje real no usan la misma gramática y redacción. En un texto normal, muchos artículos y verbos se pueden seleccionar usando tf-idf o palabras vacías. Sin embargo, en un corpus de tweets, algunas palabras extremadamente desinformativas, como 'the', 'y', 'is', etc., ocurren tanto como las palabras que son cruciales para categorizar el texto correctamente. No puedo eliminar todas las palabras que tienen menos de 3 letras, porque algunas características no informativas son más grandes que eso, y algunas informativas son más pequeñas.

Si pudiera, me gustaría no tener que usar palabras vacías, debido a la necesidad de actualizar frecuentemente la lista. Sin embargo, si esa es mi única opción, creo que tendré que ir con eso.

Entonces, para resumir mi pregunta, ¿alguien sabe cómo realmente obtener las palabras más informativas en la fuente específica que es un Tweet?

EDIT: Estoy tratando de clasificar en tres grupos: positivo, negativo y neutral. Además, me preguntaba, para TF-IDF, ¿debería limitarme las palabras con los puntajes bajos, o también algunas con los puntajes más altos? En cada caso, ¿qué porcentaje del vocabulario de la fuente de texto excluiría del proceso de selección de características?

Answer 1

la entrada de blog le vincula con la describe show_most_informative_features método, pero el NaiveBayesClassifier también tiene un most_informative_features método que vuelve las características en lugar de sólo imprimirlos. Simplemente podría establecer un punto de corte basado en su conjunto de entrenamiento: características como "el", "y" y otras características sin importancia se encontrarían en la parte inferior de la lista en términos de información.

Es cierto que este enfoque podría estar sujeto a sobreajuste (algunas características serían mucho más importantes en su conjunto de entrenamiento que en su conjunto de prueba), pero eso sería cierto para cualquier cosa que filtre características basadas en su conjunto de entrenamiento.