Android, manupulate camera preview frames

Question

Quiero hacer una aplicación de Android que use la cámara y aplique filtros de procesamiento de imagen en los marcos de vista previa.

package alex.filter; 

import java.io.IOException; 

import android.content.Context; 
import android.graphics.Canvas; 
import android.hardware.Camera; 
import android.hardware.Camera.PreviewCallback; 
import android.view.SurfaceHolder; 
import android.view.SurfaceView; 

class Preview extends SurfaceView implements SurfaceHolder.Callback { 

    SurfaceHolder mHolder; 
    public Camera camera; 

    Preview(Context context) { 
     super(context); 
     mHolder = getHolder(); 
     mHolder.addCallback(this); 
     mHolder.setType(SurfaceHolder.SURFACE_TYPE_PUSH_BUFFERS); 
    } 

    public void surfaceCreated(SurfaceHolder holder) {   
     camera = Camera.open();   

     try { 
      camera.setPreviewDisplay(holder); 

      camera.setPreviewCallback(new PreviewCallback() { 
       public void onPreviewFrame(byte[] data, Camera arg1) {      
        for(int i = 0 ; i < data.length ; i ++){ 
         data[ i] = 0; // or some sirius filter 
        }                
        Preview.this.invalidate(); 
       } 
      }); 
     } catch (IOException e) { 
      e.printStackTrace(); 
     } 
     } 

    public void surfaceDestroyed(SurfaceHolder holder) {   
     camera.stopPreview();   
     camera = null; 
    } 

    public void surfaceChanged(SurfaceHolder holder, int format, int w, int h) {   
     Camera.Parameters parameters = camera.getParameters(); 
     parameters.setPreviewSize(w, h); 
     camera.setParameters(parameters); 
     camera.startPreview(); 
    } 

    @Override 
    public void draw(Canvas canvas) { 
     super.draw(canvas);   
    } 
} 

Sin embargo, no veo cambios en el emulador no importa lo que hago en el método onPreviewFrame.

Answer 1

Bueno, eso se debe a que los búferes de vista previa que recibe en la devolución de llamada son solo una copia de los búferes de vista previa, por lo tanto, no se mostrarán las modificaciones que haga ya que el búfer que obtiene es su copia. Mencionado en el SDK de Android here

no estoy seguro de cómo hacer esto, pero me han estado dando un poco de pensamiento sobre cómo hacer esto y esto es lo que creo que se debe hacer -

• Inscríbase las memorias intermedias de vista previa
• desactivar la pantalla de vista previa por defecto
  • Si no ajusta la pantalla de vista previa a una superficie, entonces no debería tener ninguna pantalla (pero no estoy seguro de si va a trabajar - lo había leído en alguna foro no puede recordar la fuente)
  • Si lo anterior no funciona, entonces vamos a tener que ocultar la vista (lo sé casi eficiente, pero no podía pensar en otra cosa ..)
• Reducir la tasa de fotogramas de la vista previa, por lo que no se verá abrumado con los almacenamientos intermedios
• Ahora, para mostrar nuestros almacenamientos intermedios, podemos usar la funcionalidad predeterminada de dibujar mapas de bits o usar abrir para visualizar los almacenamientos intermedios. Pero hasta ahora no he usado ninguno, así que ni siquiera sé si es factible, ¿alguna idea sobre lo mismo?

ACTUALIZACIÓN
Revisando la documentación del SDK encontré esta API - setPreviewTexture esta API nos permite - "captura fotogramas de una secuencia de imágenes como una textura de OpenGL ES". Una vez que tenga las imágenes con la textura aplicada, puede usar OpenGL para mostrar sus marcos. (Eche un vistazo a la respuesta publicada por @Stephan sobre cómo hacer esto.)

NOTA - setPreviewTexture está disponible desde el nivel 11 de la API en adelante. SDK Link

Answer 2

Ver this link, creo que es similar a lo que desea lograr.

Answer 3

Otra opción es utilizar el marco OpenCV, que tiene un puerto de Android:

http://opencv.willowgarage.com/wiki/Android2.3.0

Es un puerto NDK del proyecto de código abierto abierto Computer Vision, y que va a tomar cuadros de vista preliminar primas y permita procesarlos con OpenCV antes de mostrarlos en un SurfaceView. Debido a que manipula los fotogramas, no se ejecuta a la misma velocidad de cuadro que la que se enganchó directamente en la vista previa optimizada por hardware, pero como gran parte es nativa, hace un trabajo bastante bueno.

Hay una aplicación OpenCV_Sample en esa versión vinculada anteriormente que se compiló en una aplicación de demostración que puede hacer mucho de lo que está buscando. Tiene opciones de menú para habilitar el inverso, desenfocar la imagen o hacer detección de bordes en el área de vista previa. Incluso si no es exactamente lo que quieres, hay algunas muestras geniales en el código fuente para aprender.