Diferencia entre R.loess y org.apache.commons.math LoessInterpolator

Question

Estoy intentando calcular la secuencia de comandos convert a R en java con la biblioteca apache.commons.math. ¿Puedo usar org.apache.commons.math.analysis.interpolation.LoessInterpolator en lugar de R loess? No puedo obtener el mismo resultado.

EDIT.

aquí está un programa de Java que crea una matriz aleatoria (x, y) y calcula el loess con LoessInterpolator o llamando a R. Al final, se imprimen los resultados.

import java.io.*; 
import java.util.Random; 

import org.apache.commons.math.analysis.interpolation.LoessInterpolator; 


public class TestLoess 
    { 
    private String RScript="/usr/local/bin/Rscript"; 
    private static class ConsummeInputStream 
     extends Thread 
     { 
     private InputStream in; 
     ConsummeInputStream(InputStream in) 
      { 
      this.in=in; 
      } 
     @Override 
     public void run() 
      { 
      try 
       { 
       int c; 
       while((c=this.in.read())!=-1) 
        System.err.print((char)c); 
       } 
      catch(IOException err) 
       { 
       err.printStackTrace(); 
       } 
      } 
     } 
    TestLoess() 
     { 

     } 
    private void run() throws Exception 
     { 
     int num=100; 
     Random rand=new Random(0L); 
     double x[]=new double[num]; 
     double y[]=new double[x.length]; 
     for(int i=0;i< x.length;++i) 
      { 
      x[i]=rand.nextDouble()+(i>0?x[i-1]:0); 
      y[i]=Math.sin(i)*100; 
      } 
     LoessInterpolator loessInterpolator=new LoessInterpolator(
      0.75,//bandwidth, 
      2//robustnessIters 

      ); 
     double y2[]=loessInterpolator.smooth(x, y); 

     Process proc=Runtime.getRuntime().exec(
      new String[]{RScript,"-"} 
      ); 
     ConsummeInputStream errIn=new ConsummeInputStream(proc.getErrorStream()); 
     BufferedReader stdin=new BufferedReader(new InputStreamReader(proc.getInputStream())); 
     PrintStream out=new PrintStream(proc.getOutputStream()); 
     errIn.start(); 
     out.print("T<-as.data.frame(matrix(c("); 
     for(int i=0;i< x.length;++i) 
      { 
      if(i>0) out.print(','); 
      out.print(x[i]+","+y[i]); 
      } 
     out.println("),ncol=2,byrow=TRUE))"); 
     out.println("colnames(T)<-c('x','y')"); 
     out.println("T2<-loess(y ~ x, T)"); 
     out.println("write.table(residuals(T2),'',col.names= F,row.names=F,sep='\\t')"); 
     out.flush(); 
     out.close(); 
     double y3[]=new double[x.length]; 
     for(int i=0;i< y3.length;++i) 
      { 
      y3[i]=Double.parseDouble(stdin.readLine()); 
      } 
     System.out.println("X\tY\tY.java\tY.R"); 
     for(int i=0;i< y3.length;++i) 
      { 
      System.out.println(""+x[i]+"\t"+y[i]+"\t"+y2[i]+"\t"+y3[i]); 
      } 
     } 

    public static void main(String[] args) 
     throws Exception 
     { 
     new TestLoess().run(); 
     } 
    } 

compilación & exec:

javac -cp commons-math-2.2.jar TestLoess.java && java -cp commons-math-2.2.jar:. TestLoess 

salida:

X Y Y.java Y.R 
0.730967787376657 0.0 6.624884763714674 -12.5936186703287 
0.9715042030481429 84.14709848078965 6.5263049649584 71.9725380029913 
1.6089216283982513 90.92974268256818 6.269100654071115 79.839773167581 
2.159358633515885 14.112000805986721 6.051308261720918 3.9270340708818 
2.756903911313087 -75.68024953079282 5.818424835586378 -84.9176311089431 
3.090122310789737 -95.89242746631385 5.689740879461759 -104.617807889069 
3.4753114955304554 -27.941549819892586 5.541837854229562 -36.0902352062634 
4.460153035730264 65.6986598718789 5.168028655980764 58.9472823439219 
5.339335553602744 98.93582466233818 4.840314399516663 93.3329030534449 
6.280584733084859 41.21184852417566 4.49531113985498 36.7282165788057 
6.555538699120343 -54.40211108893698 4.395343460231256 -58.5812856445538 
6.68443584999412 -99.99902065507035 4.348559404444451 -104.039069260889 
6.831037507640638 -53.657291800043495 4.295400167908642 -57.5419313320511 
6.854275630124528 42.016703682664094 4.286978656933373 38.1564179414478 
7.401015387322993 99.06073556948704 4.089252482141094 95.7504087842369 
8.365502247999844 65.02878401571168 3.7422883733498726 62.5865641279576 
8.469992934250815 -28.790331666506532 3.704793544880599 -31.145867173504 
9.095139297716374 -96.13974918795569 3.4805388562453574 -98.0047896609079 
9.505935493207435 -75.09872467716761 3.3330472034239405 -76.6664588290508 

los valores de salida para y claramente no son la misma entre R y Java; La columna Y. se ve bien (está cerca de la columna Y original). ¿Cómo debería cambiar esto para obtener Y.java ~ Y.R?

Answer 1

necesita cambiar los valores por defecto de tres parámetros de entrada para que las versiones de Java y R idénticos:

1. El Java LoessInterpolator sólo lo hace de regresión polinómica local de lineal, pero R soporta lineal (grado = 1) , cuadrático (grado = 2) y un grado extraño = 0 opción. Por lo tanto, debe especificar degree=1 en R para que sea idéntico a Java.

2. LoessInterpolator predetermina el número de iteraciones DEFAULT_ROBUSTNESS_ITERS=2, pero R predetermina iterations=4. Por lo tanto, debe establecer control = loess.control(iterations=X) en R (X es el número de iteraciones).

3. Loess Interpolator valores predeterminados DEFAULT_BANDWIDTH=0.3 pero R valores predeterminados span=0.75.

Answer 2

No puedo hablar de la implementación de java, pero lowess tiene una serie de parámetros que controlan el ancho de banda del ajuste. A menos que tenga los mismos parámetros de control, debería esperar que los resultados difieran. Mi recomendación cuando las personas alisan datos es trazar los datos originales, así como el ajuste, y decidir por ti mismo qué parámetros de control producen la compensación deseada entre fidelidad a los datos y suavizado (también conocido como eliminación de ruido).

Answer 3

Aquí hay dos problemas. Primero, si trazas los datos que estás generando, parece casi aleatorio y el ajuste generado por loess en R es muy pobre, p.

plot(T$x, T$y) 
lines(T$s, T2$fitted, col="blue", lwd=3) 

Luego, en la secuencia de comandos R que está escribiendo los residuos no las predicciones por lo que en esta línea

out.println("write.table(residuals(T2),'', 
    col.names= F,row.names=F,sep='\\t')"); 

necesita cambiar residuals(T2) a predict(T2) por ejemplo,

out.println("write.table(predict(T2),'', 
    col.names= F,row.names=F,sep='\\t')"); 

Así que era pura casualidad en el ejemplo de su código que las primeras dos líneas de residuos generadas por R parecían encajar.

Para mí, si intento ajustar con algunos datos más apropiados, Java y R devuelven resultados similares pero no idénticos. También encontré que los resultados estaban más cerca si no ajustaba la configuración predeterminada robustnessIter.