Hispanopedia Wiki
Articulo de referencia

NSynth

NSynth (una combinación de "Neural Synthesis") es un autoencoder basado en WaveNet para sintetizar audio, descrito en un artículo de abril de 2017. [ 1 ] Descripción general El ...

Hispanopedia WikiContenido en espanolLectura gratuita

NSynth (una combinación de "Neural Synthesis") es un autoencoder basado en WaveNet para sintetizar audio, descrito en un artículo de abril de 2017. [ 1 ]

Descripción general

El modelo genera sonidos mediante síntesis basada en redes neuronales , empleando un autoencoder estilo WaveNet para aprender sus propias incrustaciones temporales a partir de cuatro sonidos diferentes. [ 2 ] [ 3 ] Posteriormente, Google lanzó una interfaz de hardware de código abierto para el algoritmo llamada NSynth Super, [ 4 ] utilizada por músicos destacados como Grimes y YACHT para generar música experimental mediante inteligencia artificial. [ 5 ] [ 6 ] La investigación y el desarrollo del algoritmo formaron parte de una colaboración entre Google Brain , Magenta y DeepMind . [ 7 ]

Tecnología

Conjunto de datos

El conjunto de datos NSynth se compone de 305.979 notas instrumentales de un solo disparo con un tono, timbre y envolvente únicos, muestreadas de 1.006 instrumentos de bibliotecas de muestras comerciales. [ 8 ] Para cada instrumento, el conjunto de datos contiene fragmentos de audio de cuatro segundos a 16  kHz que abarcan todos los tonos de un piano MIDI estándar , así como cinco velocidades diferentes. [ 9 ] El conjunto de datos se publica bajo una licencia Creative Commons Attribution 4.0 International (CC BY 4.0) . [ 10 ]

Modelo de aprendizaje automático

Un modelo de autoencoder espectral y un modelo de autoencoder WaveNet están disponibles públicamente en GitHub . [ 11 ] El modelo base utiliza un espectrograma con fft_size 1024 y hop_size 256, pérdida MSE en las magnitudes y el algoritmo Griffin-Lim para la reconstrucción. El modelo WaveNet se entrena con fragmentos de forma de onda codificados en ley mu de tamaño 6144. Aprende incrustaciones con 16 dimensiones que se submuestrean por 512 en el tiempo. [ 12 ]

NSynth Super

En 2018, Google lanzó una interfaz de hardware para el algoritmo NSynth, llamada NSynth Super , diseñada para proporcionar una interfaz física accesible al algoritmo para que los músicos la utilicen en su producción artística. [ 13 ] [ 14 ]

Los archivos de diseño, el código fuente y los componentes internos se publican bajo la licencia de código abierto Apache License 2.0 , [ 15 ] lo que permite a los aficionados y músicos construir y usar el instrumento libremente. [ 16 ] En el núcleo del NSynth Super hay una Raspberry Pi , ampliada con una placa de circuito impreso personalizada para alojar los elementos de la interfaz. [ 17 ]

Influencia

A pesar de no estar disponible públicamente como producto comercial, NSynth Super ha sido utilizado por artistas notables, incluyendo a Grimes y YACHT . [ 18 ] [ 19 ]

Grimes informó haber utilizado el instrumento en su álbum de estudio de 2020, Miss Anthropocene . [ 5 ]

YACHT anunció un uso extensivo de NSynth Super en su álbum Chain Tripping . [ 20 ]

Claire L. Evans comparó la influencia potencial del instrumento con la Roland TR-808 . [ 21 ]

El diseño NSynth Super fue galardonado con un premio D&AD Yellow Pencil en 2018. [ 22 ]

Referencias

  1. ↑ Engel, Jesse; Resnick, Cinjon; Roberts, Adam; Dieleman, Sander; Eck, Douglas; Simonyan, Karen; Norouzi, Mohammad (2017). "Síntesis de audio neuronal de notas musicales con autoencoders WaveNet". arXiv : 1704.01279 [ cs.LG ].
  2. ↑ Engel, Jesse; Resnick, Cinjon; Roberts , Adam; Dieleman, Sander; Eck, Douglas; Simonyan, Karen; Norouzi, Mohammad (2017). "Síntesis de audio neuronal de notas musicales con autoencoders WaveNet" . research.google.arXiv : 1704.01279 .
  3. ↑ Aaron van den Oord; Dieleman, Sander; Zen, Heiga; Simonyan, Karen; Vinyals, Oriol; Tumbas, Alex; Kalchbrenner, Nal; Mayor, Andrés; Kavukcuoglu, Koray (2016). "WaveNet: un modelo generativo para audio sin formato". arXiv : 1609.03499 [ cs.SD ].
  4. ↑ "El sintetizador neuronal de código abierto de Google está creando sonidos totalmente nuevos" . Wired UK .
  5. 1 2 "73 | Grimes (c) sobre música, creatividad y personajes digitales – Sean Carroll" . www.preposterousuniverse.com .
  6. ↑ Mattise, Nathan (31 de agosto de 2019). "Cómo YACHT introdujo su música antigua en la máquina y obtuvo un nuevo álbum impresionante" . Ars Technica . Consultado el 8 de noviembre de 2022 .
  7. ↑ "NSynth: Síntesis de audio neuronal" . Magenta . 6 de abril de 2017.
  8. ↑ "Conjunto de datos NSynth" . Conjuntos de datos de aprendizaje automático . Consultado el 8 de noviembre de 2022 .
  9. ^ Ramires, Antonio; Serra, Xavier (2019). "Aumento de datos para clasificación de instrumentos sólidos para efectos de audio". arXiv : 1907.08520 [ cs.SD ].
  10. ↑ "El conjunto de datos NSynth" . tensorflow.org . 5 de abril de 2017.
  11. ↑ "NSynth: Síntesis de audio neuronal" . GitHub .
  12. ↑ Engel, Jesse; Resnick, Cinjon; Roberts, Adam; Dieleman, Sander; Eck, Douglas; Simonyan, Karen; Norouzi, Mohammad (2017). "Síntesis de audio neuronal de notas musicales con autoencoders WaveNet". arXiv : 1704.01279 [ cs.LG ].
  13. ↑ "NSynth Super es un sintetizador con pantalla táctil con soporte de IA" . The Verge . 13 de marzo de 2018.
  14. ↑ "Google creó un instrumento musical que utiliza inteligencia artificial y publicó los planos para que puedas construir el tuyo propio" . CNBC . 13 de marzo de 2018.
  15. ↑ "googlecreativelab/open-nsynth-super" . 1 de abril de 2021 – vía GitHub.
  16. ↑ "Open NSynth Super" . hackaday.io . Consultado el 8 de noviembre de 2022 .
  17. ↑ "NSYNTH SUPER Hardware" . GitHub .
  18. ↑ Mattise, Nathan. "Cómo YACHT utilizó el aprendizaje automático para crear su nuevo álbum" . Wired . ISSN 1059-1028 . Consultado el 19 de enero de 2023 . 
  19. ↑ "Artículo de portada: Grimes está lista para interpretar a la villana" . Crack Magazine . Consultado el 19 de enero de 2023 .
  20. ↑ "Lo que el aprendizaje automático le enseñó a la banda YACHT sobre sí mismos" . Los Angeleno . 18 de septiembre de 2019. Archivado del original el 28 de enero de 2023. Consultado el 19 de enero de 2023 .
  21. ↑ Música y aprendizaje automático (Google I/O'19) , 8 de mayo de 2019 , consultado el 19 de enero de 2023.
  22. ↑ "NSynth Super | Google Creative Lab | Google | Ganador del Lápiz de los Premios D&AD 2018 | Diseño Interactivo para Productos | D&AD" . www.dandad.org . Consultado el 19 de enero de 2023 .

Lecturas adicionales

  • Engel, Jesse; Resnick, Cinjon; Roberts, Adam; Dieleman, Sander; Eck, Douglas; Simonyan, Karen; Norouzi, Mohammad (2017). "Síntesis de audio neuronal de notas musicales con autoencoders WaveNet". arXiv : 1704.01279 [ cs.LG ].
  • Sitio web oficial de Nsynth Super
  • Sitio web oficial de Magenta
  • Emulación en el navegador del algoritmo Nsynth