¿Por qué modernizar su canalización ETL?
Migrar las canalizaciones de datos ETL a la nube permite aumentar la rentabilidad y mejorar el rendimiento al descargar completamente la gestión de la infraestructura del flujo de trabajo de extracción, transformación y carga (ETL) a la nube.
Canalización de datos ETL (Extraer, Transformar y Cargar)
Una canalización de datos ETL (Extract, Transform and Load) es un conjunto de procesos utilizados para extraer, transformar y cargar datos desde un origen a un destino.
El origen de los datos puede provenir de una o varias fuentes. Por ejemplo, una llamada a la API, archivos CSV, información dentro de una base de datos y muchos más. Extraemos estas fuentes de datos y las transformamos para que puedan ser utilizadas por otro cliente, usuario o desarrollador. A continuación, los datos se cargan en el sistema de destino, como un almacén de datos, un mercado de datos o una base de datos para su análisis u otros fines.
El propósito principal detrás de la construcción de una canalización ETL es adquirir los datos correctos, prepararlos para los informes y guardarlos para un acceso y análisis rápidos y fáciles. Una herramienta ETL ayuda a los usuarios y desarrolladores comerciales a liberar su tiempo y concentrarse en otras actividades comerciales esenciales. Las canalizaciones ETL se construyen utilizando diferentes estrategias según los requisitos únicos de una empresa.
El proceso ETL se utiliza en varios procesos de datos, como integración de datos,almacenamiento de datos,transformación de datos, etc.
Los beneficios incluyen:
- Poco código/sin código
- Herramientas de autoservicio para diferentes personas
- Conectar fuentes de datos dispares para crear un catálogo unificado
AWS Glue para conectar y ejecutar trabajos ETL
AWS Glue utiliza otros servicios de AWS para orquestar trabajos de ETL, crear almacenes de datos y lagos de datos, y generar flujos de salida. Invoca operaciones de la API para transformar datos, crear logs en tiempo de ejecución, almacenar la lógica del trabajo y crear notificaciones para monitorizar las ejecuciones.
La consola de AWS Glue conecta estos servicios en una aplicación administrada, por lo que puede centrarse en elaborar y monitorizar los trabajos de ETL. La consola realiza operaciones administrativas y de desarrollo de trabajos en su nombre. Puede proporcionar sus credenciales y otras propiedades a fin de acceder a las fuentes de datos y de escribir en los destinos de datos.
Además, los beneficios de conectarse y ejecutar trabajos de ETL en varias VPC utilizando una VPC de AWS Glue dedicada incluyen: una VPC independiente y un clúster dedicado en el trabajo de AWS Glue en ejecución, aislado de la base de datos y los nodos informáticos. Y un acceso dedicado del desarrollador de ETL a una única VPC para un mejor control y aprovisionamiento de seguridad.
