Minería de audio

En el ámbito del audio, el principal problema reside en la recuperación de información: la necesidad de localizar los documentos de texto que contienen la palabra clave de búsqueda. A diferencia de los humanos, un ordenador no puede distinguir entre los diferentes tipos de audio, como la velocidad, el estado de ánimo, el ruido, la música o el habla humana; por lo tanto, se requiere un método de búsqueda eficaz. En consecuencia, la indexación de audio permite una búsqueda eficiente de información mediante el análisis de un archivo completo utilizando el reconocimiento de voz. A continuación, se genera un índice de contenido que incluye las palabras y sus ubicaciones, obtenido mediante la recuperación de audio basada en contenido, centrándose en las características de audio extraídas.

Esto se realiza principalmente mediante dos métodos: el reconocimiento continuo del habla con vocabulario amplio (LVCSR, por sus siglas en inglés) y la indexación basada en la fonética.

Considerado el componente más crítico y complejo de la minería de audio, el reconocimiento de voz requiere el conocimiento del sistema de producción del habla humana y su modelado.

Para corresponder al sistema de producción del habla humana, el sistema eléctrico de producción del habla se desarrolla para constar de:

• Generación del habla
• Percepción del habla
• Habla con y sin voz
• Modelo del habla humana

El sistema de producción de voz electrónica convierte la señal acústica en la representación correspondiente del habla mediante los modelos acústicos de su software, donde se representan todos los fonemas. Un modelo estadístico del lenguaje facilita el proceso al identificar la probabilidad de que las palabras se sucedan en determinados idiomas. Combinado con un análisis de probabilidad complejo, el sistema de reconocimiento de voz es capaz de tomar una señal de voz desconocida y transcribirla en palabras basándose en el diccionario del programa. ^{[ 13 ] [ 14 ]}

El sistema ASR (reconocimiento automático del habla) incluye:

• Análisis acústico : la forma de onda del sonido de entrada se transforma en una característica
• Modelo acústico : establece la relación entre la señal de voz y los fonemas, el modelo de pronunciación y el modelo lingüístico. Se aplican algoritmos de entrenamiento a la base de datos de voz para crear una representación estadística de cada fonema, generando así un modelo acústico con un conjunto de fonemas y sus medidas de probabilidad.
• Modelo de pronunciación : Los fonemas se asignan a palabras específicas.
• Modelo lingüístico : Las palabras se organizan para formar oraciones con sentido.

Algunas aplicaciones del procesamiento del habla incluyen el reconocimiento del habla, la codificación del habla , la autenticación del hablante, la mejora del habla y la síntesis del habla .

Como requisito previo para todo el proceso de reconocimiento de voz, primero debe establecerse la extracción de características dentro del sistema. Los archivos de audio deben procesarse de principio a fin, asegurando que no se pierda información importante.

Diferenciando las fuentes sonoras a través del tono, las características tímbricas, las características rítmicas, la inarmonicidad, la autocorrelación y otras características basadas en la predictibilidad de la señal, el patrón estadístico y las características dinámicas.

La aplicación de la estandarización en la extracción de características está regulada a través de las características del estándar internacional MPEG-7 , donde las características para la clasificación de señales de audio o voz se fijan en términos de las técnicas utilizadas para analizar y representar los datos brutos en términos de ciertas características.

Técnicas estándar de extracción de voz:

• La codificación predictiva lineal (LPC) estima la muestra de habla actual analizando la muestra de habla anterior.
• El coeficiente cepstral de frecuencia Mel (MFCC) representa la señal de voz mediante una forma paramétrica utilizando la escala Mel.
• La predicción lineal perceptual (PLP) tiene en cuenta el habla humana.

Sin embargo, las tres técnicas no son ideales, ya que se ignoran las señales no estacionarias. Las señales no estacionarias se pueden analizar utilizando Fourier y Fourier de tiempo corto , mientras que las señales que varían con el tiempo se analizan utilizando Wavelet y la transformada discreta de ondículas (DWT) .

La clasificación de audio es una forma de aprendizaje supervisado e implica el análisis de grabaciones de audio. Se divide en varias categorías: clasificación de datos acústicos, clasificación de sonidos ambientales, clasificación musical y clasificación de enunciados en lenguaje natural. ^{[ 15 ]} Las características que se suelen utilizar para este proceso son el tono , las características tímbricas , las características rítmicas, la inarmonicidad y la correlación de audio, aunque también se pueden utilizar otras características. Existen varios métodos para la clasificación de audio que utilizan clasificadores existentes, como el k-vecinos más cercanos o el clasificador bayesiano ingenuo . Utilizando datos de audio anotados, las máquinas aprenden a identificar y clasificar los sonidos.

También se han realizado investigaciones sobre el uso de redes neuronales profundas para el reconocimiento de voz y la clasificación de audio, debido a su eficacia en otros campos como la clasificación de imágenes. ^{[ 16 ]} Un método para utilizar las DNN consiste en convertir archivos de audio en archivos de imagen, a través de espectrogramas , para realizar la clasificación.