Naive Bayesian y problema de cero frecuencia

Question

Creo que he implementado la mayor parte correctamente. Una parte me confundió:

Problema de frecuencia cero: Agregue 1 al recuento para cada combinación de clase de valor de atributo (estimador de Laplace) cuando no se produce un valor de atributo con cada valor de clase.

Aquí es parte de mi código de cliente:

//Clasify 
string text = "Claim your free Macbook now!"; 
double posteriorProbSpam = classifier.Classify(text, "spam"); 
Console.WriteLine("-------------------------"); 
double posteriorProbHam = classifier.Classify(text, "ham"); 

Ahora dicen que la palabra 'libre' está presente en los datos de entrenamiento en algún lugar

//Training 
classifier.Train("ham", "Attention: Collect your Macbook from store."); 
*Lot more here* 
classifier.Train("spam", "Free macbook offer expiring."); 

Pero la palabra está presente en mis datos de entrenamiento para la categoría 'spam' solo no está en 'ham'. Entonces, cuando voy a calcular posteriorProbHam, ¿qué hago cuando me encuentro con la palabra 'gratis'?

Answer 1

Aún agregar uno. La razón: Naive Bayes modelos P("free" | spam) y P("free" | ham) como completamente independientes, por lo que desea estimar la probabilidad de cada uno de forma completamente independiente. El estimador de Laplace que está utilizando para P("free" | spam) es (count("free" | spam) + 1)/count(spam); P("ham" | spam) es lo mismo.

Si piensas en lo que significaría no agregar uno, no tendría sentido: ver "gratis" una vez en ham haría que fuera menos probable ver "gratis" en el spam.