Decodificar marcos de video en la GPU de iPhone

Question

Estoy buscando la manera más rápida de decodificar los marcos de un video de MPEG local 4 en el iPhone. Simplemente me interesan los valores de luminancia de los píxeles en cada 10º fotograma. No necesito renderizar el video en ningún lado.

He probado ffmpeg, AVAssetReader, ImageAssetGenerator, OpenCV y MPMoviePlayer, pero son demasiado lentos. La velocidad más rápida que puedo obtener es ~ 2x (2 minutos de video escaneados en un minuto). Me gustaría algo más cerca de 10x.

Suponiendo que mis intentos anteriores no utilizaron la GPU, ¿hay alguna manera de lograr mi objetivo con algo que se ejecute en la GPU? Parece que OpenGL es principalmente para renderizar resultados, pero lo he visto como filtros para video entrante. Tal vez esa es una opción?

¡Gracias de antemano!

Answer 1

Si está dispuesto a utilizar una solución solo iOS 5, eche un vistazo a la aplicación de muestra ChromaKey de la sesión WWDC 2011 en AVCaputureSession.

Esa demostración captura 30 FPS de video de la cámara incorporada y pasa cada cuadro a OpenGL como una textura. A continuación, utiliza OpenGL para manipular el marco y, opcionalmente, escribe el resultado en un archivo de video de salida.

El código utiliza una magia grave de bajo nivel para vincular un almacenamiento intermedio de Core Video Pixel de una sesión AVCaptureSession a OpenGL para que compartan memoria en el hardware de gráficos.

Debería ser bastante sencillo cambiar la sesión de AVCaptureSession para usar un archivo de película como entrada en lugar de entrada de cámara.

Probablemente podría configurar la sesión para entregar marcos en formato Y/UV en lugar de RGB, donde el componente Y es la luminancia. De lo contrario, sería una cuestión bastante simple escribir un sombreador que convertiría los valores RGB para cada píxel en valores de luminancia.

Debería poder hacer todo esto en TODOS los cuadros, no solo en cada décimo marco.

Answer 2

Al parecer, vImage podría ser apropiado, suponiendo que puede usar iOS 5. Cada 10º fotograma parece estar dentro de lo razonable para usar un marco como vImage. Sin embargo, cualquier tipo de procesamiento real en tiempo real va a requerir OpenGL.

Answer 3

Suponiendo que el cuello de botella de su aplicación está en el código que convierte los marcos de video a un formato visualizable (como RGB), podría interesarle un código compartido que se usó para convert one .mp4 frame (encoded as YV12) to RGB using Qt and OpenGL. Esta aplicación carga el marco a la GPU y activa un GLSL fragment shader para hacer la conversión de YV12 a RGB, por lo que podría mostrarse en un QImage.

static const char *p_s_fragment_shader = 
    "#extension GL_ARB_texture_rectangle : enable\n" 
    "uniform sampler2DRect tex;" 
    "uniform float ImgHeight, chromaHeight_Half, chromaWidth;" 
    "void main()" 
    "{" 
    " vec2 t = gl_TexCoord[0].xy;" // get texcoord from fixed-function pipeline 
    " float CbY = ImgHeight + floor(t.y/4.0);" 
    " float CrY = ImgHeight + chromaHeight_Half + floor(t.y/4.0);" 
    " float CbCrX = floor(t.x/2.0) + chromaWidth * floor(mod(t.y, 2.0));" 
    " float Cb = texture2DRect(tex, vec2(CbCrX, CbY)).x - .5;" 
    " float Cr = texture2DRect(tex, vec2(CbCrX, CrY)).x - .5;" 
    " float y = texture2DRect(tex, t).x;" // redundant texture read optimized away by texture cache 
    " float r = y + 1.28033 * Cr;" 
    " float g = y - .21482 * Cb - .38059 * Cr;" 
    " float b = y + 2.12798 * Cb;" 
    " gl_FragColor = vec4(r, g, b, 1.0);" 
    "}"