stanford nlp tokenizer

Question

¿Cómo puedo tokenizar una cadena en clase java con stanford parser?

Solo puedo encontrar ejemplos de documentProcessor y PTBTokenizer tomando texto de un archivo externo.

DocumentPreprocessor dp = new DocumentPreprocessor("hello.txt"); 
    for (List sentence : dp) { 
    System.out.println(sentence); 
    } 
    // option #2: By token 

    PTBTokenizer ptbt = new PTBTokenizer(new FileReader("hello.txt"), 
      new CoreLabelTokenFactory(), ""); 
    for (CoreLabel label; ptbt.hasNext();) { 
    label = (CoreLabel) ptbt.next(); 
    System.out.println(label); 
    } 

Gracias.

Answer 1

PTBTokenizer constructor toma un java.io.Reader, a continuación, se puede utilizar un StringReader para analizar el texto