Amazon Kinesis es una familia de servicios proporcionada por Amazon Web Services (AWS) para el procesamiento y análisis de datos en tiempo real a gran escala. Lanzado en noviembre de 2013, ofrece a los desarrolladores la capacidad de crear aplicaciones que pueden consumir y procesar datos de múltiples fuentes simultáneamente. [ 2 ] Kinesis admite múltiples casos de uso, incluyendo análisis en tiempo real, recopilación de datos de registro y eventos, y procesamiento en tiempo real de datos generados por dispositivos IoT.
Historia
Amazon Kinesis fue lanzado por Amazon Web Services (AWS) en noviembre de 2013 como un servicio administrado para procesar y analizar datos de transmisión en tiempo real a gran escala. [ 3 ] El servicio se introdujo para abordar la creciente necesidad de las empresas de procesar y analizar datos a medida que se generaban, en lugar de en lotes, lo que permite obtener información y tomar decisiones en tiempo real.
Desde su lanzamiento, la familia de servicios Amazon Kinesis se ha expandido para incluir cuatro componentes principales: Kinesis Data Streams, Kinesis Data Firehose, Kinesis Data Analytics y Kinesis Video Streams. [ 4 ] Cada uno de estos componentes cumple una función específica en el procesamiento y análisis de datos de transmisión en tiempo real.
En agosto de 2015, AWS anunció la disponibilidad de Kinesis Data Firehose, un servicio totalmente administrado para entregar datos en tiempo real a destinos como Amazon S3, Amazon Redshift y Amazon Elasticsearch. [ 5 ] Un año después, en agosto de 2016, AWS lanzó Kinesis Data Analytics, que permite a los clientes analizar datos en tiempo real mediante consultas SQL estándar. [ 6 ]
AWS presentó Kinesis Video Streams, un servicio totalmente administrado para capturar, procesar y almacenar de forma segura flujos de video para aplicaciones de análisis y aprendizaje automático, en noviembre de 2017. [ 7 ]
Componentes
Amazon Kinesis se compone de cuatro servicios principales: Kinesis Data Streams, Kinesis Data Firehose, Kinesis Data Analytics y Kinesis Video Streams. [ 4 ]
Flujos de datos de Kinesis
Kinesis Data Streams es un servicio de transmisión de datos en tiempo real, escalable y duradero, que captura y procesa gigabytes de datos por segundo desde múltiples fuentes. [ 8 ] Permite el almacenamiento y procesamiento de datos en tiempo real, lo que lo hace útil para aplicaciones que requieren información inmediata, como la monitorización y las alertas.
Manguera de datos de Kinesis
Kinesis Data Firehose es un servicio totalmente administrado para entregar datos en tiempo real a destinos como Amazon S3 , Amazon Redshift , Amazon Elasticsearch y almacenes de datos de socios de AWS . [ 9 ] Con Data Firehose, los usuarios pueden configurar y escalar la entrega de datos sin intervención manual.
Análisis de datos de Kinesis
Kinesis Data Analytics permite el análisis de datos en tiempo real mediante SQL estándar o Apache Flink .
Transmisiones de vídeo de Kinesis
Kinesis Video Streams es un servicio totalmente administrado para capturar, procesar y almacenar de forma segura flujos de video para análisis y aprendizaje automático. [ 10 ] Admite múltiples códecs de video y protocolos de transmisión, lo que lo hace adecuado para diversos casos de uso, como seguridad y vigilancia, dispositivos IoT con capacidad de video y transmisión de eventos en vivo.
Integración
Amazon Kinesis se puede integrar fácilmente con otros servicios de AWS, como AWS Lambda , Amazon S3 , Amazon Redshift y Amazon OpenSearch. Esta integración permite a los desarrolladores crear aplicaciones de procesamiento de datos en tiempo real de extremo a extremo, aprovechando el extenso ecosistema de AWS. [ 11 ]
Casos de uso
Algunos casos de uso comunes para Amazon Kinesis incluyen: [ 2 ]
- Análisis en tiempo real: Analizar datos en tiempo real para proporcionar información inmediata y tomar decisiones basadas en datos.
- Recopilación de datos de registro y eventos: Recopilación, procesamiento y análisis de datos de registro y eventos generados por aplicaciones, infraestructura y dispositivos. [ 12 ]
- Procesamiento de datos de IoT: Procesamiento y análisis de grandes volúmenes de datos generados por dispositivos IoT en tiempo real. [ 13 ]
- Aprendizaje automático: Ingestión y procesamiento de secuencias de vídeo para aplicaciones de aprendizaje automático, como el reconocimiento de objetos, el reconocimiento facial y el análisis de sentimientos.
Precios
Amazon Kinesis sigue un modelo de precios de pago por uso, con costos que dependen del servicio elegido, el volumen de datos y la potencia de procesamiento requerida. [ 14 ] AWS ofrece un nivel gratuito para Kinesis Data Streams y Kinesis Data Firehose, lo que permite a los usuarios comenzar a usar los servicios sin costo alguno. [ 15 ]
Véase también
- Apache Kafka
- Google Cloud Pub/Sub
- Centros de eventos de Microsoft Azure
- Procesamiento de flujos
Referencias
- ↑ Jeff Barr (14 de noviembre de 2013). "Amazon Kinesis - Procesamiento de flujos en tiempo real" . Recuperado el 24 de marzo de 2023 .
- 1 2 Makota, Tarik; Maguire, Brian; Gagne, Danny; Chakrabarti, Rajeev (31 de marzo de 2021). Transmisión de datos escalable con Amazon Kinesis: Diseño y seguridad de aplicaciones de transmisión de datos altamente disponibles y rentables con Amazon Kinesis . Packt Publishing Ltd. ISBN 978-1-80056-433-6.
- ↑ Jeff Barr (14 de noviembre de 2013). "Amazon Kinesis - Procesamiento de flujos en tiempo real" . Recuperado el 24 de marzo de 2023 .
- 1 2 "Amazon Kinesis" . Amazon Web Services . Consultado el 24 de marzo de 2023 .
- ↑ Jeff Barr (5 de agosto de 2015). "Amazon Kinesis Firehose: ingesta de datos simple y altamente escalable" . Recuperado el 24 de marzo de 2023 .
- ↑ Jeff Barr (11 de agosto de 2016). "Amazon Kinesis Analytics: Procesamiento de datos en tiempo real con SQL" . Consultado el 24 de marzo de 2023 .
- ↑ Jeff Barr (27 de noviembre de 2017). "Amazon Kinesis Video Streams: ingesta y almacenamiento de vídeo sin servidor para aplicaciones con capacidad de visión" . Recuperado el 24 de marzo de 2023 .
- ↑ "AWS lanza Amazon Kinesis Data Streams bajo demanda" . InfoQ . Consultado el 25 de marzo de 2023 .
- ↑ "Amazon lanza Kinesis Firehose" . InfoQ . Consultado el 25 de marzo de 2023 .
- ↑ "Amazon Kinesis Video Streams" . Amazon Web Services . Consultado el 24 de marzo de 2023 .
- ↑ "Integraciones de Amazon Kinesis" . Amazon Web Services . Consultado el 24 de marzo de 2023 .
- ↑ Srivastava, Mayank; Yadav, Pradduman (22 de octubre de 2021). "Construya una solución de análisis de registros en AWS". Quinta Conferencia Internacional sobre Sistemas de Información y Redes Informáticas (ISCON) de 2021. págs. 1-5 . doi : 10.1109/ISCON52037.2021.9702374 . ISBN 978-1-6654-0341-2. S2CID 246870198 .
- ↑ Quadri, Nasreen Sultana; Yadav, Kusum (25 de abril de 2018). "Clasificación eficiente de datos para dispositivos IoT mediante la plataforma AWS Kinesis". XXI Conferencia Nacional de Computación de la Sociedad Saudí de Computación (NCC) de 2018. págs. 1-5 . doi : 10.1109/NCG.2018.8593105 . ISBN 978-1-5386-4110-1. S2CID 57364493 .
- ↑ "Precios de Amazon Kinesis" . Amazon Web Services . Consultado el 24 de marzo de 2023 .
- ↑ "Nivel gratuito de AWS" . Amazon Web Services . Consultado el 24 de marzo de 2023 .
Enlaces externos
- Sitio web oficial
- Documentación de Amazon Kinesis
- Servicios web de Amazon
- Big data
- computación en la nube