Combinación de listas de datos de frecuencia de palabra

Question

Parece que debería ser una pregunta obvia, pero los tutoriales y la documentación en las listas no están disponibles. Muchos de estos problemas provienen del tamaño de mis archivos de texto (cientos de MB) y mis intentos de reducirlos a algo manejable por mi sistema. Como resultado, estoy haciendo mi trabajo en segmentos y ahora estoy tratando de combinar los resultados.

Tengo varias listas de frecuencia de palabras (~ 40 de ellas). Las listas se pueden tomar a través de Importar [] o como variables generadas en Mathematica. Cada lista aparece de la siguiente y se ha generado utilizando el Tally [] y clasificar [] comandos:

{{ "el", 42216}, { "de", 24903}, { "y", 18624 }, {"n", 16850}, {"in",
16164}, {"de", 14930}, {"a", 14660}, {"to", 14175}, {"la", 7347 }, {"was", 6030}, {"l", 5981}, {"le", 5735}, < < 51293 >>, {"matadero", 1}, {"abattement", 1}, {"abattagen", 1}, {"abattage", 1}, {"abated", 1}, {"abandonn", 1}, {"abaiss", 1}, {"aback", 1}, {"aase", 1}, {"aaijaut", 1}, {"aaaah", 1}, {"aaa", 1}}

Aquí se muestra un ejemplo del segundo archivo:

{{ "el", 30419}, { "n", 20414}, { "de", 19956}, { "de", 16262} , {"y",
14488}, {"a", 12726}, {"a", 12635}, {"en", 11141}, {"la", 10739}, {"et", 9016 }, {"les", 8675}, {"le", 7748}, < < 101032 >>, {"abattement", 1}, {"abattagen", 1}, {"abattage", 1}, { "abated", 1}, {"abandonn", 1}, {"abaiss", 1}, {"aback", 1}, {"aase", 1}, {"aaijaut", 1}, { "aaaah", 1}, {"aaa", 1}}

Quiero combinarlos para que los datos de frecuencia se agreguen: es decir, si el segundo archivo tiene 30,419 apariciones de 'the' y se une al primer archivo, debe devolver que hay 72,635 ocurrencias (y así sucesivamente a medida que muevo a través de toda la colección).

Answer 1

Suena como que necesita GatherBy.

Supongamos que las dos listas se denominan data1 y data2, a continuación, utilizar

{#[[1, 1]], Total[#[[All, 2]]]} & /@ GatherBy[Join[data1, data2], First] 

Esto generaliza fácilmente a cualquier número de listas, no sólo dos.

Answer 2

Probar ReplaceRepeated.

Únete a las listas. Luego use

//. {{f1___, {a_, c1_}, f2___, {a_, c2_}, f3___} -> {f1, f2, f3, {a, c1 + c2}}} 

Answer 3

Pruebe usar una tabla hash, como esta. set las cosas por primera vez:

ClearAll[freq]; 
freq[_] = 0; 

Ahora por ejemplo freq["safas"] devuelve 0.A continuación, si las listas se definen como

lst1 = {{"the", 42216}, {"of", 24903}, {"and", 18624}, {"n", 
    16850}, {"in", 16164}, {"de", 14930}, {"a", 14660}, {"to", 
    14175}, {"la", 7347}, {"was", 6030}, {"l", 5981}, {"le", 
    5735}, {"abattoir", 1}, {"abattement", 1}, {"abattagen", 
    1}, {"abattage", 1}, {"abated", 1}, {"abandonn", 1}, {"abaiss", 
    1}, {"aback", 1}, {"aase", 1}, {"aaijaut", 1}, {"aaaah", 
    1}, {"aaa", 1}}; 
lst2 = {{"the", 30419}, {"n", 20414}, {"de", 19956}, {"of", 
    16262}, {"and", 14488}, {"to", 12726}, {"a", 12635}, {"in", 
    11141}, {"la", 10739}, {"et", 9016}, {"les", 8675}, {"le", 
    7748}, {"abattement", 1}, {"abattagen", 1}, {"abattage", 
    1}, {"abated", 1}, {"abandonn", 1}, {"abaiss", 1}, {"aback", 
    1}, {"aase", 1}, {"aaijaut", 1}, {"aaaah", 1}, {"aaa", 1}}; 

usted puede funcionar esta

Scan[(freq[#[[1]]] += #[[2]]) &, lst1] 

después de lo cual, por ejemplo,

freq["the"] 
(* 
42216 
*) 

y luego la lista siguiente

Scan[(freq[#[[1]]] += #[[2]]) &, lst2] 

después de lo cual por ejemplo,

freq["the"] 
72635 

mientras que todavía

freq["safas"] 
(* 
0 
*) 

Answer 4

Hay un viejo refrán, "si todo lo que tienes es un martillo, todo se convierte en un clavo". Entonces, aquí está mi martillo: SelectEquivalents.

Esto se puede hacer un poco más rápido usando SelectEquivalents:

SelectEquivalents[data1~Join~data2, #[[1]]&, #[[2]]&, {#1, Total[#2]}&] 

el fin, el primer parámetro es, obviamente, sólo las listas unidas, la segunda es lo que están agrupados por (en este caso, el primer elemento), el tercer parámetro quita la cadena y deja solo el conteo, y el cuarto parámetro lo vuelve a juntar con la cadena como #1 y los recuentos en una lista como #2.

Answer 5

Aquí es una directa función Sow/Reap:

Reap[#2~Sow~# & @@@ data1~Join~data2;, _, {#, Tr@#2} &][[2]] 

---

Aquí es una forma concisa del método de ACL:

Module[{c}, 
    c[_] = 0; 

    c[#] += #2 & @@@ data1~Join~data2; 

    {#[[1, 1]], #2} & @@@ Most@DownValues@c 
] 

---

Esto parece ser un poco más rápido que Código de Szabolcs en mi sistema:

data1 ~Join~ data2 ~GatherBy~ First /. 
    {{{x_, a_}, {x_, b_}} :> {x, a + b}, {x : {_, _}} :> x}