Hace poco escribí una solución para esto. Mi solución no es a prueba de tontos y no creo que sea computacionalmente viable para grandes cantidades de texto, pero me parece que funciona bien para oraciones pequeñas.
Suponga que tiene dos cadenas de texto:
- "LETMEBEGINBYSAYINGTHANKS"
- "UNGHSYINDJFHAKJSNFNDKUAJUD"
El objetivo es, pues, para determinar que es probable 1. 2. Inglés, mientras que no es . Intuitivamente, la forma en que mi mente determina esto es buscando los límites de palabras de las palabras en inglés en las oraciones (LET, ME, BEGIN, etc.). Pero esto no es sencillo desde el punto de vista computacional porque hay palabras superpuestas (BE, GIN, BEGIN, SAY, SAYING, GRAK, THANKS, etc.).
Mi método realiza lo siguiente:
- Tome la intersección de
{ known English words } y { all substrings of the text of all lengths }.
- Construye un gráfico de vértices, cuyas posiciones son los índices de inicio de las palabras en la oración, con los bordes dirigidos a las posiciones iniciales de la letra después del final de la palabra. Por ejemplo,
(0) sería L, por lo que "LET" podría estar representado por (0) -> (3), donde (3) es M por lo que es "LET ME".
- Encuentra el número entero más grande
n entre 0 y len(text) para el que existe una ruta directa desde el índice 0 al índice n.
- Divida ese número
n por la longitud del texto para tener una idea aproximada de qué porcentaje del texto parece ser palabras consecutivas en inglés.
Tenga en cuenta que mi código asume que no hay espacios entre las palabras, pero imagino que podría adaptarlo para considerar los espacios con bastante facilidad. No es que para que funcione mi código necesita un archivo de lista de palabras en inglés. Obtuve uno de here, pero puede usar cualquier archivo de ese tipo, y me imagino que de esta manera esta técnica podría extenderse a otros idiomas también.
Aquí está el código:
from collections import defaultdict
# This function tests what percent of the string seems to me to be maybe
# English-language
# We use an English words list from here:
# https://github.com/first20hours/google-10000-english
def englishness(maybeplaintext):
maybeplaintext = maybeplaintext.lower()
f = open('words.txt', 'r')
words = f.read()
f.close()
words = words.lower().split("\n")
letters = [c for c in maybeplaintext]
# Now let's iterate over letters and look for some English!
wordGraph = defaultdict(list)
lt = len(maybeplaintext)
for start in range(0, lt):
st = lt - start
if st > 1:
for length in range(2, st):
end = start + length
possibleWord = maybeplaintext[start:end]
if possibleWord in words:
if not start in wordGraph:
wordGraph[start] = []
wordGraph[start].append(end)
# Ok, now we have a big graph of words.
# What is the shortest path from the first letter to the last letter,
# moving exclusively through the English language?
# Does any such path exist?
englishness = 0
values = set([a for sublist in list(wordGraph.values()) for a in sublist])
numberVertices = len(set(wordGraph.keys()).union(values))
for i in range(2, lt):
if isReachable(numberVertices, wordGraph, i):
englishness = i
return englishness/lt
# Here I use my modified version of the technique from:
# https://www.geeksforgeeks.org/
# find-if-there-is-a-path-between-two-vertices-in-a-given-graph/
def isReachable(numberVertices, wordGraph, end):
visited = [0]
queue = [0]
while queue:
n = queue.pop(0)
if n == end or n > end:
return True
for i in wordGraph[n]:
if not i in visited:
queue.append(i)
visited.append(i)
return False
Y aquí es I/O para los ejemplos iniciales que di:
In [5]: englishness('LETMEBEGINBYSAYINGTHANKS')
Out[5]: 0.9583333333333334
In [6]: englishness('UNGHSYINDJFHAKJSNFNDKUAJUD')
Out[6]: 0.07692307692307693
Entonces, aproximadamente hablando, estoy 96% seguro de que LETMEBEGINBYSAYINGTHANKS es Inglés, y 8% seguro de que UNGHSYINDJFHAKJSNFNDKUAJUD es inglés. ¡Lo cual suena bien!
Para extender esto a piezas de texto mucho más grandes, mi sugerencia sería submuestrear subcadenas cortas aleatorias y verificar su "inglés". ¡Espero que esto ayude!
posible duplicado de [Python - ¿puedo detectar código de lenguaje de cadena unicode?] (Http://stackoverflow.com/questions/4545977/python-can-i-detect-unicode-string-language-code) – ismail
I ' Estoy pidiendo solo inglés aquí, a diferencia de ese hilo donde piden cualquier lenguaje arbitrario. – user449511
Simplemente funciona bien para el inglés. – ismail