Alineación musical

La música puede describirse y representarse de muchas maneras diferentes, incluyendo partituras , representaciones simbólicas y grabaciones de audio. Para cada una de estas representaciones, pueden existir diferentes versiones que correspondan a la misma obra musical. El objetivo general de la alineación musical (a veces también denominada sincronización musical ) es vincular automáticamente los diversos flujos de datos, interrelacionando así los múltiples conjuntos de información relacionados con una obra musical determinada. Más precisamente, la alineación musical se entiende como un procedimiento que, para una posición dada en una representación de una pieza musical, determina la posición correspondiente dentro de otra representación. ^{[ 1 ]} En la figura de la derecha, dicha alineación se visualiza mediante las flechas rojas bidireccionales. Estos resultados de sincronización constituyen la base de nuevas interfaces que permiten a los usuarios acceder, buscar y explorar contenido musical de forma práctica. ^{[ 2 ] [ 3 ]}

Dadas dos representaciones musicales diferentes, los enfoques típicos de alineación musical proceden en dos pasos. ^{[ 1 ]} En el primer paso, las dos representaciones se transforman en secuencias de características adecuadas. En general, dichas representaciones de características deben encontrar un compromiso entre dos objetivos contrapuestos. Por un lado, las características deben mostrar un alto grado de robustez ante variaciones que no se considerarán para la tarea en cuestión. Por otro lado, las características deben capturar suficiente información característica para lograr la tarea dada. Para la alineación musical, se suelen utilizar características basadas en croma (también llamadas cromagramas o perfiles de clase de tono ), que capturan las características armónicas y melódicas de la música, a la vez que son robustas ante cambios en el timbre y la instrumentación.

En el segundo paso, las secuencias de características derivadas deben ponerse en correspondencia (temporal). Para ello, se utilizan técnicas relacionadas con la deformación temporal dinámica (DTW) o los modelos ocultos de Markov (HMM) para calcular una alineación óptima entre dos secuencias de características dadas.

La alineación musical y las tareas de sincronización relacionadas se han estudiado ampliamente en el campo de la recuperación de información musical . A continuación, ofrecemos algunas indicaciones sobre tareas relacionadas. Según los tipos de representaciones musicales, se pueden distinguir varios escenarios de sincronización. Por ejemplo, la alineación de audio se refiere a la tarea de alinear temporalmente dos grabaciones de audio diferentes de una pieza musical. De manera similar, el objetivo de la alineación partitura-audio es coordinar los eventos de notas dados en la representación de la partitura con los datos de audio. En el escenario fuera de línea , los dos flujos de datos que se van a alinear se conocen antes de la alineación propiamente dicha. En este caso, se pueden utilizar procedimientos de optimización global, como la deformación temporal dinámica (DTW), para encontrar una alineación óptima. En general, es más difícil abordar escenarios donde los flujos de datos se procesan en línea. Un escenario en línea destacado es el seguimiento de partituras , donde un músico interpreta una pieza de acuerdo con una partitura musical dada. El objetivo es identificar los eventos musicales que se están tocando actualmente, representados en la partitura, con alta precisión y baja latencia. ^{[ 4 ] [ 5 ]} En este escenario, la partitura se conoce en su totalidad de antemano, pero la interpretación se conoce solo hasta el punto actual en el tiempo. En este contexto, se han empleado técnicas de alineación como modelos ocultos de Markov o filtros de partículas, donde la posición actual de la partitura y el tempo se modelan en un sentido estadístico. ^{[ 6 ] [ 7 ]} A diferencia del DTW clásico, este procedimiento de sincronización en línea tiene inherentemente un tiempo de ejecución que es lineal en la duración de la versión interpretada. Sin embargo, como desventaja principal, una estrategia en línea es muy sensible a las variaciones locales del tempo y a las desviaciones de la partitura; una vez que el procedimiento se desincroniza, es muy difícil recuperarse y volver a la pista correcta. Otro problema de sincronización en línea se conoce como acompañamiento automático . Con una parte solista interpretada por un músico, la tarea de la computadora es acompañar al músico de acuerdo con una partitura dada ajustando el tempo y otros parámetros en tiempo real. Tales sistemas ya se propusieron hace algunas décadas. ^{[ 8 ] [ 9 ] [ 10 ]}