Análisis computacional de escenas auditivas

Como primera etapa del procesamiento CASA, el cocleograma crea una representación tiempo-frecuencia de la señal de entrada. Al imitar los componentes del oído externo y medio, la señal se divide en diferentes frecuencias que son seleccionadas naturalmente por la cóclea y las células ciliadas. Debido a la selectividad de frecuencia de la membrana basilar, se utiliza un banco de filtros para modelar la membrana, y cada filtro se asocia con un punto específico de la misma. ^{[ 1 ]}

Dado que las células ciliadas producen patrones de espigas, cada filtro del modelo también debería producir una espiga similar en la respuesta impulsional . El uso de un filtro gammatone proporciona una respuesta impulsional como producto de una función gamma y un tono. La salida del filtro gammatone puede considerarse como una medida del desplazamiento de la membrana basilar. La mayoría de los sistemas CASA representan la tasa de disparo en el nervio auditivo en lugar de una basada en espigas. Para obtener esto, las salidas del banco de filtros se rectifican a media onda seguidas de una raíz cuadrada. (Se han implementado otros modelos, como controladores automáticos de ganancia). La onda rectificada a media onda es similar al modelo de desplazamiento de las células ciliadas. Los modelos adicionales de las células ciliadas incluyen el modelo de célula ciliada Meddis que se empareja con el banco de filtros gammatone, modelando la transducción de la célula ciliada. ^{[ 5 ]} Basado en la suposición de que hay tres reservorios de sustancia transmisora ​​dentro de cada célula ciliada, y los transmisores se liberan en proporción al grado de desplazamiento a la membrana basilar, la liberación se iguala con la probabilidad de una espiga generada en la fibra nerviosa. Este modelo reproduce muchas de las respuestas nerviosas en los sistemas CASA, como la rectificación, la compresión, la descarga espontánea y la adaptación. ^{[ 1 ]}

Modelo importante de percepción del tono mediante la unificación de 2 escuelas de teoría del tono: ^{[ 1 ]}

• Teorías de lugar (haciendo hincapié en el papel de los armónicos resueltos)
• Teorías temporales (que enfatizan el papel de los armónicos no resueltos)

El correlograma se calcula generalmente en el dominio del tiempo mediante la autocorrelación de la actividad de disparo del nervio auditivo simulada con la salida de cada canal del filtro. ^{[ 1 ]} Al agrupar la autocorrelación en función de la frecuencia, la posición de los picos en el correlograma resumen corresponde al tono percibido. ^{[ 1 ]}

Debido a que los oídos reciben señales de audio en momentos diferentes, la fuente del sonido se puede determinar utilizando los retrasos obtenidos de ambos oídos. ^{[ 6 ]} Al correlacionar los retrasos de los canales izquierdo y derecho (del modelo), los picos coincidentes se pueden clasificar como el mismo sonido localizado, a pesar de su ubicación temporal en la señal de entrada. ^{[ 1 ]} El uso del mecanismo de correlación cruzada interaural ha sido respaldado por estudios fisiológicos, que son paralelos a la disposición de las neuronas en el mesencéfalo auditivo . ^{[ 7 ]}

Para aislar la fuente sonora, los sistemas CASA enmascaran el cocleograma. Este enmascaramiento, a veces un filtro de Wiener , pondera las regiones de la fuente objetivo y suprime el resto. ^{[ 1 ]} La motivación fisiológica detrás del enmascaramiento se debe a la percepción auditiva, donde un sonido más fuerte hace que el sonido sea inaudible. ^{[ 8 ]}

Una vía de resíntesis reconstruye una señal de audio a partir de un grupo de segmentos. Al invertir el cocleograma, se pueden obtener señales de habla resintetizadas de alta calidad. ^{[ 1 ]}

La separación de sonido monoaural comenzó con la separación de voces según su frecuencia. Hubo muchos desarrollos iniciales basados ​​en la segmentación de diferentes señales de habla a través de la frecuencia. ^{[ 1 ]} Otros modelos siguieron este proceso, añadiendo adaptación mediante modelos de espacio de estados, procesamiento por lotes y arquitectura basada en predicción. ^{[ 9 ]} El uso de CASA ha mejorado la robustez de los sistemas ASR y de separación de voz. ^{[ 10 ]}

Dado que CASA modela las vías auditivas humanas, los sistemas binaurales CASA mejoran el modelo humano al proporcionar localización del sonido, agrupación auditiva y robustez frente a la reverberación mediante la inclusión de dos micrófonos separados espacialmente. Con métodos similares a la correlación cruzada, los sistemas pueden extraer la señal objetivo de ambos micrófonos de entrada. ^{[ 11 ] [ 12 ]}

Dado que el sistema auditivo biológico está profundamente conectado con la acción de las neuronas, los sistemas CASA también incorporaron modelos neuronales en su diseño. Dos modelos diferentes constituyen la base de esta área. Malsburg y Schneider propusieron un modelo de red neuronal con osciladores para representar las características de diferentes flujos (sincronizados y desincronizados). ^{[ 13 ]} Wang también presentó un modelo que utiliza una red de unidades excitatorias con un inhibidor global y líneas de retardo para representar la escena auditiva en el dominio tiempo-frecuencia. ^{[ 14 ] [ 15 ]}

Los enfoques típicos en los sistemas CASA comienzan con la segmentación de las fuentes de sonido en constituyentes individuales, en sus intentos de imitar el sistema auditivo físico. Sin embargo, hay evidencia de que el cerebro no necesariamente procesa la entrada de audio por separado, sino más bien como una mezcla. ^{[ 16 ]} En lugar de descomponer la señal de audio en constituyentes individuales, la entrada se descompone por descriptores de nivel superior, como acordes, bajo y melodía, estructura rítmica y repeticiones de estribillo y frase. Estos descriptores presentan dificultades en escenarios del mundo real, con señales monoaurales y binaurales. ^{[ 1 ]} Además, la estimación de estos descriptores depende en gran medida de la influencia cultural de la entrada musical. Por ejemplo, en la música occidental, la melodía y el bajo influyen en la identidad de la pieza, con el núcleo formado por la melodía. Al distinguir las respuestas de frecuencia de la melodía y el bajo, se puede estimar una frecuencia fundamental y filtrarla para su distinción. ^{[ 17 ]} La detección de acordes se puede implementar a través del reconocimiento de patrones, extrayendo características de bajo nivel que describen el contenido armónico. ^{[ 18 ]} Las técnicas utilizadas en el análisis de escenas musicales también se pueden aplicar al reconocimiento de voz y otros sonidos ambientales. ^{[ 19 ]} Los trabajos futuros incluyen una integración descendente del procesamiento de señales de audio , como un sistema de seguimiento de ritmos en tiempo real y la expansión más allá del ámbito del procesamiento de señales con la incorporación de la psicología y la fisiología auditivas. ^{[ 20 ]}

Si bien muchos modelos consideran la señal de audio como una combinación compleja de diferentes frecuencias, modelar el sistema auditivo también puede requerir considerar los componentes neuronales. Al adoptar un proceso holístico, donde un flujo (de sonidos basados ​​en características) corresponde a la actividad neuronal distribuida en muchas áreas del cerebro, la percepción del sonido podría ser mapeada y modelada. Se han propuesto dos soluciones diferentes para la vinculación de la percepción del audio y el área en el cerebro. Los modelos de codificación jerárquica modelan muchas células para codificar todas las combinaciones posibles de características y objetos en la escena auditiva. ^{[ 21 ] [ 22 ]} La correlación temporal u oscilatoria aborda el problema de la vinculación al centrarse en la sincronía y la desincronía entre las oscilaciones neuronales para codificar el estado de vinculación entre las características auditivas. ^{[ 1 ]} Estas dos soluciones son muy similares a la controversia entre la codificación de lugar y la codificación temporal. Al basarse en el modelado de componentes neuronales, otro fenómeno de ASA entra en juego con los sistemas CASA: el alcance del modelado de mecanismos neuronales. Los estudios de los sistemas CASA han implicado la modelización de algunos mecanismos conocidos, como la naturaleza de paso de banda del filtrado coclear y los patrones aleatorios de activación del nervio auditivo; sin embargo, estos modelos pueden no conducir al descubrimiento de nuevos mecanismos, sino más bien a una comprensión del propósito de los mecanismos conocidos. ^{[ 23 ]}