¡Hola a todos!
¡Bienvenido de nuevo! Hemos llegado a los 28 días en nuestro viaje #100DiasdeAWS. Hoy vuelvo a los servicios de AWS, ya que las últimas dos publicaciones han sido más sobre cómo comenzar su viaje como profesional de la nube.
¡Hoy hablaré sobre un servicio que puede ayudar a las empresas a transmitir y analizar datos a gran escala! Hoy hablamos de Amazon Kinesis.
Kinesis es un servicio de transmisión de datos en tiempo real escalable y duradero que puede ingerir y analizar cantidades masivas de datos en tiempo real y de muchas fuentes diferentes.
Kinesis no es solo un servicio, tiene cuatro tipos de flujos que podemos usar para nuestros datos. Tenemos lo siguiente:
Kinesis Data Streams
Kinesis Data Firehose
Kinesis Data Analytics
Kinesis Video Streams
Pasemos a las diferentes categorías de Amazon Kinesis y sus casos de uso:
Kinesis data streams
Kinesis Data Streams (KDS) es un servicio de transmisión de datos sumamente escalable y duradero que transmite sus datos a escala en tiempo real.
KDS puede capturar muchos gigabytes de datos por segundo de manera continua, desde cientos de miles de fuentes simultáneamente.
Aquí hay algunas transmisiones que se pueden integrar con su configuración de KDS:
Fuentes de redes sociales
Registros de TI
Secuencias de clics del sitio web
Flujos de eventos de base de datos
Transacciones financieras
Eventos de seguimiento de ubicación y muchos más!
Una vez recopilados, los datos persisten y luego están disponibles para navegar y cotejar en meros milisegundos. Aquí es donde el aspecto "en tiempo real" de KDS se puede usar para crear paneles de monitoreo personalizados o para usar en análisis posteriores, es decir, detección de anomalías, etc.
Las transmisiones de KDS se pueden integrar con KMS para cifrar sus datos de transmisión, y también puede hacer que sus datos de transmisión estén disponibles para múltiples aplicaciones de análisis en tiempo real, para Amazon S3 o para AWS Lambda dentro de los 70 milisegundos de la recopilación de datos.
Es extremadamente elástico y se amplía para transmitir varios TB de datos por hora.
Mire este gráfico genial para mostrar cómo funciona, la forma en que recuerdo esta imagen es usando la frase Entrada, Ingestión, Integración y Salida:
Kinesis Data Firehose
Firehose es similar a los flujos de datos, ¡pero es mucho más simple!
La forma en que funciona es que también tiene productores (entradas en su flujo) pero la diferencia aquí es que tan pronto como la transmisión ingiere los datos, desaparece inmediatamente de la cola. La secuencia no conserva los datos, a diferencia de Data Streams.
Firehose captura, transforma y, posteriormente, entrega sus datos de transmisión a los puntos finales S3, Redshift, Elasticsearch y HTTP de su elección.
También se puede vincular con proveedores de servicios externos a AWS, como Datadog, New Relic, MongoDB y Splunk.
Es un servicio completamente administrado que se escala automáticamente para adaptarse al rendimiento de sus datos y no requiere administración continua, a diferencia de Data Streams.
Los flujos son altamente personalizables; sin embargo, requieren escalado y aprovisionamiento manual; esta es la principal diferencia entre Data Streams y Firehose.
Eche un vistazo a otra interesante infografía a continuación sobre cómo funciona Firehose (es decir, de manera similar a los flujos de datos):
Kinesis Data Analytics
Con Data Analytics, puede especificar un Data Stream o Firehose como entrada y salida.
Luego lo ejecuta a través de sus propias consultas SQL personalizadas para proporcionar análisis en tiempo real y resultados posteriores a sus flujos de datos. Si ya ha oído hablar de Apache Flink, Kinesis Data Analytics solo lo administra Apache Flink.
Apache Flink es un marco y un motor de código abierto para procesar flujos de datos. Amazon Kinesis Data Analytics reduce la complejidad de la creación, administración e integración de aplicaciones Apache Flink con otros servicios de AWS.
Es un servicio sin servidor, por lo que no tiene que administrar ningún servidor para ejecutar consultas, y Amazon Kinesis Data Analytics escala automáticamente la infraestructura hacia arriba y hacia abajo según sea necesario para procesar los datos entrantes.
Además, paga solo por lo que usa (¡como muchos servicios de AWS!).
Kinesis Video Streams
¡Pasemos a Kinesis Video Streams!
Como su nombre lo indica, puede ingerir datos de video y audio de varios dispositivos y servicios. Luego puede tomar esos datos y transportarlos a otro servicio de procesamiento de video u otros servicios de AWS en general.
Kinesis Video Streams emplea y escala automáticamente toda la infraestructura necesaria para transmitir datos de video desde muchos millones de dispositivos, como desde una configuración de IoT. Esta es una forma extremadamente simple de ingresar una gran cantidad de datos de video en la nube.
Almacena, cifra e indexa datos de video de forma duradera en sus transmisiones y le permite acceder a sus datos a través de API fáciles de usar.
Eso nos lleva al final de Amazon Kinesis.
Como puede ver, no es realmente un servicio, es más una combinación de muchos servicios basados en la transmisión de datos.
¡Déjame saber si tienes algún comentario o pregunta, y muchas gracias por leer!
¡Sigue construyendo!
Post Original Jack Lavelle
