Articulo de referencia

Microscopía amplificada serial con codificación de tiempo

La microscopía de estiramiento temporal , también conocida como imagen/microscopía amplificada codificada en el tiempo en serie o imagen/microscopía amplificada codificada en el...

La microscopía de estiramiento temporal , también conocida como imagen/microscopía amplificada codificada en el tiempo en serie o imagen/microscopía amplificada codificada en el tiempo estirada ( STEAM ), es un método de imagen óptica rápido en tiempo real que proporciona una velocidad de fotogramas de MHz, una velocidad de obturación de ~100 ps y  una ganancia de imagen óptica de ~30 dB (× 1000). Basada en la técnica de estiramiento temporal fotónico, STEAM ostenta récords mundiales de velocidad de obturación y velocidad de fotogramas en imagen continua en tiempo real. STEAM emplea el estiramiento temporal fotónico con amplificación Raman interna para lograr la amplificación de la imagen óptica y sortear la disyuntiva fundamental entre sensibilidad y velocidad que afecta a prácticamente todos los sistemas de imagen y detección óptica. Este método utiliza un fotodetector de un solo píxel , eliminando la necesidad de la matriz de detectores y las limitaciones del tiempo de lectura. Al evitar este problema y gracias a la amplificación de la imagen óptica para mejorar la sensibilidad a altas velocidades de adquisición de imágenes, la velocidad de obturación de STEAM es al menos 1000 veces más rápida que las mejores cámaras CCD [ 1 ] y CMOS [ 2 ] . Su velocidad de fotogramas es 1000 veces superior a la de las cámaras CCD más rápidas y entre 10 y 100 veces superior a la de las cámaras CMOS más rápidas.

Historia

La microscopía de estiramiento temporal y su aplicación a la microfluídica para la clasificación de células biológicas fue inventada en UCLA . [ 3 ] [ 4 ] [ 5 ] [ 6 ] [ 7 ] [ 8 ] [ 9 ] [ 10 ] Combina el concepto de iluminación codificada espectralmente con el estiramiento temporal fotónico, una tecnología de adquisición de datos ultrarrápida en tiempo real desarrollada anteriormente en el mismo laboratorio para crear un digitalizador de disparo único en tiempo real de femtosegundos , [ 11 ] y un espectrómetro Raman estimulado de disparo único. [ 12 ] La primera demostración fue una versión unidimensional [ 3 ] y luego una versión bidimensional. [ 4 ] Posteriormente, se creó un vibrómetro de imágenes rápido extendiendo el sistema a una configuración interferométrica. [ 13 ] La tecnología se extendió luego a imágenes de fase cuantitativas de estiramiento temporal ( TS-QPI ) para la clasificación sin marcadores de células sanguíneas y se combinó con inteligencia artificial (IA) para la clasificación de células cancerosas en sangre con más del 96 % de precisión. [ 14 ] El sistema midió 16 parámetros biofísicos de células simultáneamente en una sola toma y realizó una clasificación hiperdimensional utilizando una red neuronal profunda (DNN). Los resultados se compararon con otros algoritmos de clasificación de aprendizaje automático como la regresión logística y Naive Bayes con la mayor precisión obtenida con aprendizaje profundo. Esto se extendió más tarde a "Deep Cytometry" [ 15 ] en la que las tareas computacionalmente intensivas de procesamiento de imágenes y extracción de características antes del aprendizaje profundo se evitaron al alimentar directamente los escaneos de línea de estiramiento temporal, cada uno representando un pulso láser en una red neuronal convolucional profunda . Esta clasificación directa de datos brutos de estiramiento temporal redujo el tiempo de inferencia en órdenes de magnitud a 700 microsegundos en un procesador acelerado por GPU. A una velocidad de flujo de 1 m/s las células solo se mueven menos de un milímetro. Por lo tanto, este tiempo de inferencia ultracorto es lo suficientemente rápido para la clasificación celular. 

Fondo

La tecnología de imágenes ópticas rápidas en tiempo real es indispensable para estudiar eventos dinámicos como ondas de choque , fusión láser , dinámica química en células vivas, actividad neuronal, cirugía láser , microfluídica y MEMS . Las técnicas habituales de las cámaras CCD y CMOS convencionales son inadecuadas para capturar procesos dinámicos rápidos con alta sensibilidad y velocidad; existen limitaciones tecnológicas: se requiere tiempo para leer los datos del conjunto de sensores y existe una compensación fundamental entre sensibilidad y velocidad: a altas velocidades de fotogramas, se recogen menos fotones en cada fotograma, un problema que afecta a casi todos los sistemas de imágenes ópticas.

La cámara de barrido , utilizada para el diagnóstico en fusión láser, radiación de plasma y combustión, opera únicamente en modo ráfaga (proporcionando solo unos pocos fotogramas) y requiere la sincronización de la cámara con el evento que se desea capturar. Por lo tanto, no puede capturar eventos aleatorios o transitorios en sistemas biológicos. Por otro lado, los estroboscopios tienen una función complementaria: pueden capturar la dinámica de eventos rápidos, pero solo si el evento es repetitivo, como rotaciones, vibraciones y oscilaciones. No pueden capturar eventos aleatorios no repetitivos que ocurren solo una vez o no a intervalos regulares.

Principio de funcionamiento

El principio básico consta de dos pasos, ambos realizados ópticamente. En el primer paso, el espectro de un pulso óptico de banda ancha se convierte, mediante un dispersor espacial, en un arco iris que ilumina el objetivo. Este pulso de arco iris se compone de múltiples subpulsos de diferentes colores (frecuencias), lo que indica que los distintos componentes de frecuencia (colores) del pulso inciden sobre diferentes coordenadas espaciales del objeto. Por lo tanto, la información espacial (imagen) del objeto se codifica en el espectro del pulso de arco iris resultante, ya sea reflejado o transmitido. El pulso de arco iris reflejado o transmitido, con la imagen codificada, regresa al mismo dispersor espacial o entra en otro para combinar los colores del arco iris en un único pulso. En este caso, la velocidad de obturación o el tiempo de exposición del STEAM corresponde a la duración temporal del pulso de arco iris. En el segundo paso, el espectro se transforma en una señal temporal en serie que se expande en el tiempo mediante la transformada de Fourier dispersiva para ralentizarla y poder digitalizarla en tiempo real. Esta expansión temporal se produce dentro de una fibra dispersiva que se bombea para generar amplificación Raman interna. Aquí, la imagen se amplifica ópticamente mediante dispersión Raman estimulada para superar el nivel de ruido térmico del detector. El flujo de imágenes seriales amplificadas y con estiramiento temporal es detectado por un fotodetector de un solo píxel y la imagen se reconstruye en el dominio digital. Los pulsos subsiguientes capturan fotogramas repetitivos, por lo que la frecuencia de repetición de los pulsos láser corresponde a la velocidad de fotogramas de STEAM. El segundo componente se conoce como convertidor analógico-digital con estiramiento temporal , también conocido como osciloscopio de grabación con estiramiento temporal (TiSER).

Transformación de Fourier dispersiva amplificada

El estiramiento y amplificación simultáneos también se conoce como transformada de Fourier dispersiva de estiramiento de tiempo amplificado (TS-DFT). [ 16 ] [ 17 ] La tecnología de estiramiento de tiempo amplificado se desarrolló anteriormente para demostrar la conversión analógica a digital con una tasa de muestreo en tiempo real de femtosegundos [ 11 ] y para demostrar la espectroscopia Raman estimulada en una sola toma a millones de fotogramas por segundo. [ 12 ] El estiramiento de tiempo amplificado es un proceso en el que el espectro de un pulso óptico se mapea mediante una gran dispersión de velocidad de grupo en una forma de onda temporal ralentizada y se amplifica simultáneamente mediante el proceso de dispersión Raman estimulada . En consecuencia, el espectro óptico se puede capturar con un fotodetector de un solo píxel y digitalizar en tiempo real. Los pulsos se repiten para mediciones repetitivas del espectro óptico. El DFT de estiramiento de tiempo amplificado consiste en una fibra dispersiva bombeada por láseres y multiplexores de división de longitud de onda que acoplan los láseres dentro y fuera de la fibra dispersiva. La transformada de Fourier dispersiva amplificada se desarrolló originalmente para habilitar convertidores analógico-digitales de banda ultraancha y también se ha utilizado para espectroscopia en tiempo real de alto rendimiento . La resolución del generador de imágenes STEAM está determinada principalmente por el límite de difracción, la frecuencia de muestreo del digitalizador de la etapa posterior y los dispersores espaciales. [ 18 ]

Imágenes de fase cuantitativas con estiramiento temporal

Consulte la descripción completa en www.nature.com/articles/srep21471.
El sistema de imágenes de fase cuantitativas con estiramiento temporal es un microscopio facilitado por inteligencia artificial que incluye una canalización de análisis de big data para visión artificial y aprendizaje. Licencia de imagen CC BY 4.0 -

La imagen cuantitativa de fase con estiramiento temporal ( TS-QPI ) es una técnica de imagen basada en la tecnología de estiramiento temporal para la medición simultánea de perfiles espaciales de fase e intensidad. [ 19 ] [ 20 ] [ 21 ] [ 22 ] Desarrollada en la UCLA, ha dado lugar al desarrollo del microscopio de inteligencia artificial con estiramiento temporal. [ 19 ]

Imágenes con tiempo de relajación

En la imagen con estiramiento temporal, la información espacial del objeto se codifica en el espectro de pulsos láser con una duración de pulso inferior a un nanosegundo . Cada pulso, que representa un fotograma de la cámara , se estira en el tiempo para que pueda digitalizarse en tiempo real mediante un convertidor analógico-digital (ADC) electrónico. La iluminación ultrarrápida del pulso congela el movimiento de células o partículas de alta velocidad en flujo para lograr imágenes sin desenfoque. La sensibilidad de detección se ve afectada por el bajo número de fotones recogidos durante el tiempo de obturación ultracorto (ancho del pulso óptico) y la caída en la potencia óptica máxima resultante del estiramiento temporal. [ 23 ] Estos problemas se resuelven en la imagen con estiramiento temporal mediante la implementación de un amplificador Raman de bajo factor de ruido dentro del dispositivo dispersivo que realiza el estiramiento temporal. Además, la transformada de estiramiento deformado puede utilizarse en la imagen con estiramiento temporal para lograr compresión de imagen óptica y resolución espacial no uniforme en todo el campo de visión.

En la versión coherente de la cámara de estiramiento temporal, la obtención de imágenes se combina con interferometría espectral para medir imágenes cuantitativas de fase [ 24 ] [ 25 ] e intensidad en tiempo real y a alto rendimiento. Integrado con un canal microfluídico, el sistema de imágenes de estiramiento temporal coherente mide tanto el desplazamiento de fase óptica cuantitativo como la pérdida de células individuales como un citómetro de flujo de imágenes de alta velocidad, capturando millones de imágenes lineales por segundo en caudales de hasta unos pocos metros por segundo, alcanzando un rendimiento de hasta cientos de miles de células por segundo. La obtención de imágenes cuantitativas de fase mediante estiramiento temporal se puede combinar con aprendizaje automático para lograr una clasificación sin marcadores muy precisa de las células.

Aplicaciones

Este método es útil para una amplia gama de aplicaciones científicas, industriales y biomédicas que requieren altas velocidades de obturación y de fotogramas. La versión unidimensional se puede emplear para la detección de desplazamiento, la lectura de códigos de barras y el análisis de sangre; [ 26 ] la versión bidimensional para la observación, el diagnóstico y la evaluación en tiempo real de ondas de choque, flujo microfluídico, [ 27 ] actividad neuronal, MEMS, [ 28 ] y dinámica de ablación láser. La versión tridimensional es útil para la detección de rango, metrología dimensional y vibrometría y velocimetría de superficies. [ 29 ]

Compresión de imágenes en el dominio óptico

Ilustración de la transformación de estiramiento deformado en imágenes.

El big data no solo ofrece oportunidades, sino que también supone un desafío para los instrumentos biomédicos y científicos, ya que las unidades de adquisición y procesamiento se ven desbordadas por un torrente de datos. La necesidad de comprimir enormes volúmenes de datos en tiempo real ha impulsado el interés por las transformaciones de estiramiento no uniformes, operaciones que remodelan los datos según su dispersión.

Recientemente, investigadores de la UCLA demostraron la compresión de imágenes realizada en el dominio óptico y en tiempo real. [ 30 ] Utilizando dispersión de retardo de grupo no lineal e imágenes de estiramiento temporal, lograron deformar ópticamente la imagen de manera que las porciones ricas en información se muestrean con una densidad de muestreo mayor que las regiones dispersas. Esto se logró reestructurando la imagen antes de la conversión óptico-eléctrica, seguida de un muestreador electrónico uniforme. La reconstrucción de la imagen estirada de forma no uniforme demuestra que la resolución es mayor donde la información es rica y menor donde la información es mucho menor y relativamente poco importante. La región rica en información en el centro se conserva bien manteniendo las mismas tasas de muestreo en comparación con el caso uniforme sin submuestreo. Se demostró la compresión de imágenes a 36 millones de fotogramas por segundo en tiempo real.

Véase también

Referencias

  1. JR Janesick (2001). Dispositivos de carga acoplada científicos . SPIE Press. ISBN 978-0-8194-3698-6.
  2. H. Zimmermann (2000). Optoelectrónica de silicio integrada . Springer. ISBN 978-3-540-66662-2.
  3. 1 2 K. Goda; KK Tsia y B. Jalali (2008). "Imágenes de transformada de Fourier dispersivas amplificadas para detección de desplazamiento ultrarrápida y lectura de códigos de barras". Applied Physics Letters . 93 (13): 131109. arXiv : 0807.4967 . Bibcode : 2008ApPhL..93m1109G . doi : 10.1063/1.2992064 . S2CID 34751462 . 
  4. 1 2 K. Goda; KK Tsia y B. Jalali (2009). "Imágenes amplificadas codificadas en el tiempo en serie para la observación en tiempo real de fenómenos dinámicos rápidos". Nature . 458 (7242): 1145– 9. Bibcode : 2009Natur.458.1145G . doi : 10.1038/nature07980 . PMID 19407796 . S2CID 4415762 .  
  5. ↑ Patente estadounidense 8654441 , Jalali Bahram y Motafakker-Fard Ali, "Microscopía amplificada con codificación temporal serial de contraste de interferencia diferencial", emitida el 18 de febrero de 2014, asignada a los Regentes de la Universidad de California. 
  6. Patente estadounidense 8870060 , Jalali Bahram; Goda Keisuke y Tsia Kevin Kin-Man, "Aparato y método para imágenes de transformada de Fourier dispersivas", emitida el 28 de octubre de 2014, asignada a los Regentes de la Universidad de California. 
  7. Patente estadounidense 9835840 , Jalali Bahram; Goda Keisuke y Tsia Kevin Kin-Man, "Métodos para la obtención de imágenes ópticas amplificadas mediante un pincel espectral bidimensional", emitida el 30 de enero de 2015, asignada a los Regentes de la Universidad de California. 
  8. Patente estadounidense 8987649 , Jalali Bahram; Goda Keisuke y Tsia Kevin Kin-Man, "Métodos para la obtención de imágenes ópticas amplificadas mediante un pincel espectral bidimensional", emitida el 24 de marzo de 2015, asignada a los Regentes de la Universidad de California. 
  9. ↑ Patente estadounidense 9903804 , Jalali Bahram y Mahjoubfar Ata, "Detección celular de alto rendimiento sin marcadores en tiempo real en flujo", emitida el 27 de febrero de 2018, asignada a los Regentes de la Universidad de California. 
  10. Patente estadounidense 10593039 , Jalali Bahram; Mahjoubfar Ata y Chen Lifan, "Aprendizaje profundo en la clasificación de células sin etiquetas y extracción de partículas mediante visión artificial", emitida el 17 de marzo de 2020, asignada a los Regentes de la Universidad de California. 
  11. 1 2 Chou, J.; Boyraz, O.; Solli, D.; Jalali, B. (2007). "Digitalizador de disparo único en tiempo real de femtosegundos" . Applied Physics Letters . 91 (16): 161105–1–161105–3. Bibcode : 2007ApPhL..91p1105C . doi : 10.1063/1.2799741 vía Researchgate.net.
  12. 1 2 Solli, DR; Boyraz, O.; Jalali, B. (2008). "Transformación de longitud de onda-tiempo amplificada para espectroscopia en tiempo real". Nature Photonics . 2 (1): 48– 51. Bibcode : 2008NaPho...2...48S . doi : 10.1038/nphoton.2007.253 . S2CID 8991606 . 
  13. A. Mahjoubfar; K. Goda; A. Ayazi; A. Fard; SH Kim y B. Jalali (2011). "Vibrómetro y velocímetro de imágenes de alta velocidad con resolución nanométrica". Applied Physics Letters . 98 (10): 101107. Bibcode : 2011ApPhL..98j1107M . doi : 10.1063/1.3563707 .
  14. Chen, CL; Mahjoubfar, A.; Tai, L.; Blaby, I.; Huang, A.; Niazi, K.; Jalali, B. (2016). "Aprendizaje profundo en la clasificación celular sin etiquetas" . Scientific Reports . 6 21471. Bibcode : 2016NatSR...621471C . doi : 10.1038/ srep21471 . PMC 4791545. PMID 26975219 .  
  15. Li, Yueqin; Mahjoubfar, Ata; Chen, Claire Lifan; Niazi, Kayvan Reza; Pei, Li y Jalali, Bahram (2019). "Citometría profunda: aprendizaje profundo con inferencia en tiempo real en clasificación celular y citometría de flujo" . Scientific Reports . 9 (1): 1– 12. arXiv : 1904.09233 . Bibcode : 2019NatSR...911088L . doi : 10.1038/ s41598-019-47193-6 . PMC 6668572. PMID 31366998 .  
  16. K. Goda; DR Solli; KK Tsia y B. Jalali (2009). "Teoría de la transformación de Fourier dispersiva amplificada". Physical Review A . 80 (4) 043821. Bibcode : 2009PhRvA..80d3821G . doi : 10.1103/PhysRevA.80.043821 . hdl : 10722/91330 .
  17. K. Goda y B. Jalali (2010). "Figura de ruido de la transformada de Fourier dispersiva amplificada". Physical Review A. 82 ( 3) 033827. Bibcode : 2010PhRvA..82c3827G . doi : 10.1103/PhysRevA.82.033827 . S2CID 8243947 . 
  18. Tsia KK, Goda K., Capewell D., Jalali B. (2010). "Rendimiento de un microscopio amplificado con codificación de tiempo en serie". Optics Express . 18 (10): 10016– 28. Bibcode : 2010OExpr..1810016T . doi : 10.1364/oe.18.010016 . hdl : 10722/91333 . PMID 20588855. S2CID 8077381 .  {{cite journal}}: CS1 maint: varios nombres: lista de autores ( enlace )
  19. 1 2 Chen, Claire Lifan; Mahjoubfar, Ata; Tai, Li-Chia; Blaby, Ian K.; Huang, Allen; Niazi, Kayvan Reza; Jalali, Bahram (2016). "Aprendizaje profundo en la clasificación de células sin etiquetas" . Scientific Reports . 6 21471. Bibcode : 2016NatSR...621471C . doi : 10.1038/srep21471 . PMC 4791545. PMID 26975219 .  Publicado bajo la licencia CC BY 4.0.
  20. Michaud, Sarah (5 de abril de 2016). "Aprovechando los macrodatos para la obtención de imágenes celulares" . Noticias de Óptica y Fotónica . The Optical Society . Consultado el 8 de julio de 2016 .
  21. "Microscopía fotónica de estiramiento temporal combinada con inteligencia artificial detecta células cancerosas en la sangre" . Med Gadget . 15 de abril de 2016. Consultado el 8 de julio de 2016 .
  22. Chen, Claire Lifan; Mahjoubfar, Ata; Jalali, Bahram (23 de abril de 2015). "Compresión de datos ópticos en imágenes de estiramiento temporal" . PLOS ONE . 10 (4) e0125106. Bibcode : 2015PLoSO..1025106C . doi : 10.1371/journal.pone.0125106 . PMC 4408077. PMID 25906244 .  
  23. Mahjoubfar, Ata; Churkin, Dmitry V.; Barland, Stéphane; Broderick, Neil; Turitsyn, Sergei K.; Jalali, Bahram (2017). "Estiramiento del tiempo y sus aplicaciones". Nature Photonics . 11 (6): 341– 351. Bibcode : 2017NaPho..11..341M . doi : 10.1038/nphoton.2017.76 . S2CID 53511029 . 
  24. G. Popescu, "Imágenes cuantitativas de fase de células y tejidos", McGraw Hill Professional (2011)
  25. Lau, Andy KS; Wong, Terence TW; Ho, Kenneth KY; Tang, Matthew TH; Chan, Antony CS; Wei, Xiaoming; Lam, Edmund Y.; Shum, Ho Cheung; Wong, Kenneth KY; Tsia, Kevin K. (2014). "Microscopía interferométrica de estiramiento temporal para... imágenes cuantitativas celulares y tisulares" (PDF) . Journal of Biomedical Optics . 19 (7) 076001. Descarga gratuita de PDF. Bibcode : 2014JBO ....19g6001L . doi : 10.1117/1.JBO.19.7.076001 . hdl : 10722/200609 . PMID 24983913. S2CID 24535924 .  
  26. Chen C., Mahjoubfar A., ​​Tai L., Blaby I., Huang A., Niazi K., Jalali B. (2016). " Aprendizaje profundo en la clasificación celular sin etiquetas" . Scientific Reports . 6 21471. Bibcode : 2016NatSR...621471C . doi : 10.1038/srep21471 . PMC 4791545. PMID 26975219 .  {{cite journal}}: CS1 maint: varios nombres: lista de autores ( enlace )
  27. D. Di Carlo (2009). "Microfluídica inercial". Lab on a Chip . 9 (21): 3038– 46. doi : 10.1039/b912547g . PMID 19823716 . 
  28. TR Hsu (2008). MEMS y microsistemas: diseño, fabricación e ingeniería a nanoescala . Wiley. ISBN 978-0-470-08301-7.
  29. Mahjoubfar A., ​​Goda K., Ayazi A., Fard A., Kim S., Jalali B. (2011). "Vibrómetro y velocímetro de imágenes de alta velocidad con resolución nanométrica". Applied Physics Letters . 98 (10): 101107. Bibcode : 2011ApPhL..98j1107M . doi : 10.1063/1.3563707 .{{cite journal}}: CS1 maint: varios nombres: lista de autores ( enlace )
  30. CL Chen; A Mahjoubfar; B Jalali (2015). "Compresión de datos ópticos en imágenes de estiramiento temporal" . PLOS ONE . 10 (4): 1371. Bibcode : 2015PLoSO..1025106C . doi : 10.1371/journal.pone.0125106 . PMC 4408077. PMID 25906244 .