¿Qué contiene un marco de audio?

Question

Im haciendo algunas investigaciones sobre cómo comparar archivos de sonido (onda). Básicamente, quiero comparar los archivos de sonido almacenados (wav) con el sonido de un micrófono. Así que, al final, me gustaría pre-almacenar algunos comandos de voz y cuando estoy ejecutando mi aplicación me gustaría comparar los archivos pre-almacenados con la entrada desde el micrófono.

Mi idea era poner un poco de margen al comparar, porque decir algo dos veces seguidas de la misma manera sería difícil, supongo.

Así que después de buscar en Google veo que python tiene este módulo llamado wave y el objeto Wave_read. Ese objeto tiene una función llamada readframes (n):

lee y vuelve a lo sumo n marcos de de audio, como una cadena de bytes.

¿Qué contienen estos bytes? Estoy pensando en recorrer los archivos de la ola un cuadro a la vez comparándolos cuadro por cuadro.

Answer 1

Un marco de audio, o muestra, contiene información de amplitud (volumen) en ese momento particular. Para producir sonido, decenas de miles de cuadros se reproducen en secuencia para producir frecuencias.

En el caso de audio de calidad CD o audio de onda sin comprimir, hay alrededor de 44,100 cuadros/muestras por segundo. Cada uno de esos cuadros contiene 16 bits de resolución, lo que permite representaciones bastante precisas de los niveles de sonido. Además, como el audio del CD es estéreo, en realidad hay el doble de información, 16 bits para el canal izquierdo, 16 bits para el derecho.

Cuando se utiliza el módulo de sonido en Python para obtener un marco, que se obtiene es una serie de caracteres hexadecimales:

• Uno de los personajes para una señal mono de 8 bits.
• Dos caracteres para estéreo de 8 bits.
• Dos caracteres para mono de 16 bits.
• Cuatro caracteres para estéreo de 16 bits.

Con el fin de convertir y comparar estos valores que tendrá que usar primero las funciones de la onda del módulo de Python para comprobar la profundidad de bits y el número de canales. De lo contrario, comparará configuraciones de calidad no coincidentes.

Answer 2

Una simple comparación de byte a byte casi no tiene posibilidades de una coincidencia exitosa, incluso con cierta tolerancia. El reconocimiento de patrones de voz es un problema muy complejo y sutil que aún es objeto de mucha investigación.

Answer 3

Lo primero que debe hacer es una transformación de Fourier para transformar los datos en sus frecuencias. Sin embargo, es bastante complejo. No usaría bibliotecas de reconocimiento de voz aquí, ya que parece que no grabas solo voces. Luego probaría diferentes cambios de tiempo (en caso de que los sonidos no estén exactamente alineados) y use el que le ofrezca la mejor similitud, donde debe definir una función de similitud. Ah, y debería normalizar ambas señales (el mismo volumen máximo).

Answer 4

Creo que la descripción aceptada es ligeramente incorrecta.

Un marco parece ser algo así como paso en formatos gráficos.Para intercalado estéreo a 16 bits/muestra, el tamaño del marco es 2*sizeof(short) = 4 bytes. Para estéreo no intercalado a 16 bits/muestra, las muestras del canal izquierdo son todas una tras otra, por lo que el tamaño del cuadro es solo sizeof(short).