Una biblioteca/clase PHP para contar palabras en varios idiomas?

Question

En algún momento, en un futuro cercano, tendré que implementar un recuento de palabras entre idiomas, o si eso no es posible, un recuento de caracteres en varios idiomas.

Por conteo de palabras me refiero a un conteo exacto de las palabras contenidas dentro del texto dado, tomando el idioma del texto. El idioma del texto lo establece un usuario y se asumirá que es correcto.

Por número de caracteres quiero decir un recuento de los caracteres "posiblemente en una palabra" contenidos en el texto dado, con la misma información de idioma descrita anteriormente.

Preferiría mucho el recuento anterior, pero soy consciente de las dificultades involucradas. También soy consciente de que la última cuenta es mucho más fácil, pero prefiero mucho la anterior, si es posible.

Me encantaría si tuviera que mirar inglés, pero necesito considerar todos los idiomas aquí, chino, coreano, inglés, árabe, hindi, etc.

me gustaría saber si el desbordamiento de pila tiene ninguna pista sobre dónde empezar a buscar un producto/método existente para hacer esto en PHP, ya que soy un buen programador perezoso *

A simple test que muestra cómo str_word_count con set_locale no funciona, y una función de la página str_word_count de php.net.

* http://blogoscoped.com/archive/2005-08-24-n14.html

Answer 1

caracteres Contar es fácil:

echo strlen('一个有十的字符的句子'); // 30 (WRONG!) 
echo strlen(utf8_decode('一个有十的字符的句子')); // 10 

palabras de contar es donde las cosas se ponen difíciles, especialmente para chinos, japoneses y otros idiomas que no usan espacios (u otros caracteres comunes de "límite de palabras") como separadores de palabras. No hablo chino y no entiendo cómo funciona el conteo de palabras en chino, así que tendrás que educarme un poco: ¿qué hace una palabra en estos idiomas? ¿Es algún char o conjunto de caracteres? Recuerdo haber leído algo relacionado con lo difícil que era identificar palabras japonesas en la escritura T9, pero ya no puedo encontrarlas.

Lo que sigue debe devolver correctamente el número de palabras en idiomas que utilizan espacios o caracteres de puntuación como separadores de palabras:

count(preg_split('~[\p{Z}\p{P}]+~u', $string, null, PREG_SPLIT_NO_EMPTY)); 

Answer 2

Bueno, trate de:

<? 
function count_words($str){ 
    $words = 0; 
    $str = eregi_replace(" +", " ", $str); 
    $array = explode(" ", $str); 
    for($i=0;$i < count($array);$i++) 
     { 
     if (eregi("[0-9A-Za-zÀ-ÖØ-öø-ÿ]", $array[$i])) 
      $words++; 
    } 
    return $words; 
} 
echo count_words('This is the second one , it will count wrong as well" , it will count 12 instead of 11 because the comma is counted too.'); 
?>