Significado de instancias correctamente clasificadas weka

Question

Recientemente comencé a usar weka y trato de clasificar los tweets en positivos o negativos usando Naive Bayes. Así que tengo un conjunto de entrenamiento con tweets para los que di la etiqueta y un conjunto de pruebas con tweets que tienen la etiqueta "positiva". Cuando me encontré Naive Bayes, consigo los siguientes resultados:

instancias correctamente clasificados: 69 92% casos incorrectamente clasificadas: 6 8%

Entonces si cambio de las etiquetas de los tweets en la prueba ajustado a " negativo" y corrió otra vez Naive Bayes, los resultados son invertidas:

casos clasificados correctamente: 6 8% casos incorrectamente clasificadas: 69 92%

pensé que los casos clasificados correctamente muestran la exactitud de Naive Bayes y que debería ser el mismo no importa las etiquetas de los tweets en el conjunto de prueba. ¿Hay algún problema con mis datos o no entiendo correctamente el significado de las instancias correctamente clasificadas?

Muchas gracias por su tiempo,

Nantia

Answer 1

Las etiquetas en el conjunto de prueba se supone que es la correcta clasificación real. El rendimiento se calcula pidiendo al clasificador que dé su mejor estimación sobre la clasificación de cada instancia en el conjunto de prueba. Luego, las clasificaciones predichas se comparan con las clasificaciones reales para determinar la precisión. Por lo tanto, si voltea los valores 'correctos' que le da, los resultados se invertirán también.

Answer 2

De acuerdo con su conjunto de entrenamiento, el 69.92% de sus instancias se clasifican como positivas. Si las etiquetas para el conjunto de prueba, es decir las respuestas correctas, indican que todas son positivas, entonces eso hace 69.92% correcto. Si el conjunto de pruebas (y, por lo tanto, la clasificación) es el mismo, pero cambia las respuestas correctas, entonces, por supuesto, el porcentaje correcto también será el opuesto.

Tenga en cuenta que para evaluar un clasificador, necesita las etiquetas verdaderas del conjunto de prueba. De lo contrario, no puede comparar las respuestas del clasificador con las respuestas verdaderas. Me parece que podrías haber entendido mal esto. Puede obtener las etiquetas de datos no vistos, si eso es lo que desea, pero en ese caso no puede evaluar la precisión del clasificador.