¿Cómo encontrar el conteo de una palabra en una cadena?

Question

Tengo una cadena "Hello I am going to I with hello am". Quiero encontrar cuántas veces ocurre una palabra en la cadena. Ejemplo hola ocurre 2 veces. Intenté este enfoque que solo imprime caracteres -

def countWord(input_string): 
    d = {} 
    for word in input_string: 
     try: 
      d[word] += 1 
     except: 
      d[word] = 1 

    for k in d.keys(): 
     print "%s: %d" % (k, d[k]) 
print countWord("Hello I am going to I with Hello am") 

Quiero aprender a encontrar el conteo de palabras.

Answer 1

Si usted quiere encontrar la cuenta de una palabra individual, sólo tiene que utilizar count:

input_string.count("Hello") 

Uso collections.Counter y split() hacer un recuento de todas las palabras:

from collections import Counter 

words = input_string.split() 
wordCount = Counter(words) 

Answer 2

from collections import * 
import re 

Counter(re.findall(r"[\w']+", text.lower())) 

Usando re.findall es más versátil que split, porque de lo contrario no se puede tener en cuenta las contracciones tales como "no" y "voy", etc.

Demo (usando el ejemplo):

>>> countWords("Hello I am going to I with hello am") 
Counter({'i': 2, 'am': 2, 'hello': 2, 'to': 1, 'going': 1, 'with': 1}) 

Si va a estar haciendo muchas de estas consultas, esto que solamente ocurre O (N) trabajar una vez, en lugar de O (N * # consultas) de trabajo.

Answer 3

Counter from collections es su amigo:

>>> from collections import Counter 
>>> counts = Counter(sentence.lower().split()) 

Answer 4

Aquí está una al alter-, entre mayúsculas y minúsculas, el enfoque

sum(1 for w in s.lower().split() if w == 'Hello'.lower()) 
2 

Se ajusta mediante la conversión de la cadena y de destino en minúscula.

ps: Se encarga del problema con "am ham".count("am") == 2str.count() señalado por debajo @DSM también :)

Answer 5

Considerando Hello y hello tan mismas palabras, independientemente de sus causas:

>>> from collections import Counter 
>>> strs="Hello I am going to I with hello am" 
>>> Counter(map(str.lower,strs.split())) 
Counter({'i': 2, 'am': 2, 'hello': 2, 'to': 1, 'going': 1, 'with': 1}) 

Answer 6

El vector de la los recuentos de ocurrencias de palabras se llaman bag-of-words.

Scikit-learn proporciona un buen módulo para calcularlo, sklearn.feature_extraction.text.CountVectorizer. Ejemplo:

import numpy as np 
from sklearn.feature_extraction.text import CountVectorizer 

vectorizer = CountVectorizer(analyzer = "word", \ 
          tokenizer = None, \ 
          preprocessor = None, \ 
          stop_words = None, \ 
          min_df = 0,   \ 
          max_features = 50) 

text = ["Hello I am going to I with hello am"] 

# Count 
train_data_features = vectorizer.fit_transform(text) 
vocab = vectorizer.get_feature_names() 

# Sum up the counts of each vocabulary word 
dist = np.sum(train_data_features.toarray(), axis=0) 

# For each, print the vocabulary word and the number of times it 
# appears in the training set 
for tag, count in zip(vocab, dist): 
    print count, tag 

de salida:

2 am 
1 going 
2 hello 
1 to 
1 with 

parte del código fue tomado de esta Kaggle tutorial on bag-of-words.

FYI: How to use sklearn's CountVectorizerand() to get ngrams that include any punctuation as separate tokens?

Answer 7

Usted puede usar la biblioteca de expresiones regulares de Python re para encontrar todos los partidos de la subcadena y devolver la matriz.

import re 

input_string = "Hello I am going to I with Hello am" 

print(len(re.findall('hello', input_string.lower()))) 

Lienzo:

2