iOS: obtenga datos píxel por píxel desde la cámara

Question

Conozco AVFoundation y su soporte de captura (aunque no demasiado familiar). Sin embargo, no veo ninguna API fácilmente accesible para obtener datos píxel por píxel (RGB por píxel o similar). Recuerdo leer en los documentos que esto es posible, pero realmente no veo cómo. Entonces:

1. ¿Se puede hacer esto? ¿Si es así, cómo?
2. ¿Obtendré datos de imágenes en bruto o datos que han sido comprimidos en JPEG?

Answer 1

AV Foundation puede devolverle los bytes sin procesar para una imagen capturada por el video o la cámara. Debe configurar una sesión AVCaptureSession con un dispositivo AVCaptureDevice apropiado y una correspondiente AVCaptureDeviceInput y AVCaptureDeviceOutput (AVCaptureVideoDataOutput o AVCaptureStillImageOutput). Apple tiene algunos ejemplos de este proceso en su documentación, y requiere la configuración de un código repetitivo.

Una vez que haya configurado su sesión de captura y esté capturando datos de la cámara, configurará un método delegado -captureOutput:didOutputSampleBuffer:fromConnection:, donde uno de los parámetros será un CMSampleBufferRef. Que tendrá un CVImageBufferRef dentro del cual se accede a través del CMSampleBufferGetImageBuffer(). El uso de CVPixelBufferGetBaseAddress() en ese búfer de píxeles devolverá la dirección base de la matriz de bytes para los datos de píxeles en bruto que representan el marco de la cámara. Esto puede ser en algunos formatos diferentes, pero los más comunes son BGRA y YUV planar.

Tengo una aplicación de ejemplo que usa este here, pero le recomiendo que también consulte my open source framework que envuelve la plantilla estándar AV Foundation y facilita el procesamiento de imágenes en la GPU. Dependiendo de lo que quieras hacer con estos bytes crudos de la cámara, es posible que ya tenga algo que puedas usar allí o un medio de hacerlo mucho más rápido que con el procesamiento en la CPU.

Answer 2

lowp vec4 textureColor = texture2D(inputImageTexture, textureCoordinate); 
float luminance = dot(textureColor.rgb, W); 

mediump vec2 p = textureCoordinate; 
if (p.x == 0.2 && p.x<0.6 && p.y > 0.4 && p.y<0.6) { 
    gl_FragColor = vec4(textureColor.r * 1.0, textureColor.g * 1.0, textureColor.b * 1.0, textureColor.a); 
} else { 
    gl_FragColor = vec4(textureColor.r * 0.0, textureColor.g * 0.0, textureColor.b * 0.0, textureColor.a *0.0); 
}