{"id":2489,"date":"2020-07-22T10:07:25","date_gmt":"2020-07-22T10:07:25","guid":{"rendered":"https:\/\/beta.bluetab.net\/?p=2489"},"modified":"2024-03-05T17:32:43","modified_gmt":"2024-03-05T17:32:43","slug":"bluetab","status":"publish","type":"post","link":"https:\/\/bluetab.org\/es\/bluetab\/","title":{"rendered":"Conceptos b\u00e1sicos de AWS Glue"},"content":{"rendered":"\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t

Conceptos b\u00e1sicos de AWS Glue<\/h1>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t
\"\"<\/a><\/figure>

\u00c1lvaro Santos<\/a><\/h4>

Senior Cloud Solution Architect\u200b<\/p><\/div><\/div>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t

\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t<\/i>\t\t\t\t\t\t\t<\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t\t\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\n\t\t\t\t\t\t\t\t<\/i>\t\t\t\t\t\t\t<\/span>\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t\t
\n\t\t\t
\n\t\t\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\"\"\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

Desde la\u00a0Pr\u00e1ctica Cloud<\/strong>\u00a0queremos impulsar la adopci\u00f3n de la nube como forma de trabajo en el mundo de IT. Para ayudar en esta tarea, vamos a publicar multitud de art\u00edculos de buenas pr\u00e1cticas y casos de uso, otros hablar\u00e1n aquellos servicios clave dentro de la nube.<\/p>\n

A continuaci\u00f3n os vamos a presentar los conceptos b\u00e1sicos de\u00a0AWS Glue<\/a><\/strong>.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t

\n\t\t\t\t
\n\t\t\t\t\t\t\t
\n\t\t\t
<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t

\u00bfQu\u00e9 es AWS Glue?<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

AWS Glue<\/strong>\u00a0es uno de esos servicios de\u00a0AWS<\/em>\u00a0que son relativamente nuevos pero que tienen un enorme potencial. En especial este servicio puede ser muy beneficioso para todas aquellas empresas que trabajan con datos y que a\u00fan no posean una infraestructura de Big Data potente.<\/p>\n

B\u00e1sicamente, Glue es un servicio de ETLs totalmente administrado por\u00a0AWS<\/em>\u00a0y de pago por uso sin necesidad de aprovisionar instancias. Para conseguirlo, combina la velocidad y potencia de\u00a0Apache Spark<\/em>\u00a0con la organizaci\u00f3n de datos que ofrece\u00a0Hive Metastore<\/em>.<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t

\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t\"\"\t\t\t\t\t\t\t\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t
\n\t\t\t
<\/div>\n\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t

AWS Glue Data Catalog<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
\n\t\t\t\t
\n\t\t\t\t\t\t\t\t\t

El Cat\u00e1logo de datos de Glue es donde se almacenan todos los or\u00edgenes y destinos de datos para los trabajos de Glue.<\/p>\n

    \n
  • Table<\/strong>\u00a0es la definici\u00f3n de una tabla de metadatos sobre las fuentes de datos y no los datos en s\u00ed. Las tablas de\u00a0AWS Glue<\/em>\u00a0pueden referirse datos basados \u200b\u200ben archivos almacenados en S3 (como Parquet, CSV\u2026), tablas de RDBMS\u2026

    <\/li>\n
  • Database<\/strong>\u00a0se refiere a una agrupaci\u00f3n de fuentes de datos a las que pertenecen las tablas.

    <\/li>\n
  • Connection<\/strong>\u00a0es un enlace configurado entre\u00a0AWS Glue<\/em>\u00a0y un cluster de\u00a0RDS<\/em>,\u00a0Redshift<\/em>\u00a0u otra BBDD compatible con\u00a0JDBC<\/em>. Estas permiten que Glue acceda a sus datos.

    <\/li>\n
  • Crawler<\/strong>\u00a0es el servicio encargado de conectarse a un almac\u00e9n de datos, avanza a trav\u00e9s de una lista priorizada de clasificadores para determinar el esquema de los datos y de generar las tablas de metadatos. Son compatibles de determinar el esquema de datos complejos no estructurados o semi-estructurados. \u00c9sto es especialmente importante cuando se trabajan con fuentes de datos de tipo\u00a0Parquet<\/em>,\u00a0AVRO<\/em>, \u2026<\/li>\n<\/ul>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
    \n\t\t\t\t
    \n\t\t\t\t\t\t\t
    \n\t\t\t
    <\/div>\n\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
    \n\t\t\t\t
    \n\t\t\t\t\t

    ETL<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
    \n\t\t\t\t
    \n\t\t\t\t\t\t\t\t\t

    Una\u00a0ETL<\/em>\u00a0en\u00a0AWS Glue<\/em>\u00a0est\u00e1 compuesta principalmente de los scripts y otras herramientas que utilizan los datos configurados en\u00a0Data Catalog<\/em>\u00a0para extraer, transformar y cargar los datos en un sito definido.<\/p>\n

      \n
    • Job<\/strong>\u00a0es el motor principal de la ETL. Un trabajo consiste en un script que carga datos de las fuentes definidas en el cat\u00e1logo y realiza transformaciones sobre ellos. Glue puede generar autom\u00e1ticamente un script, o se puede crear uno personalizado usando la API de\u00a0Apache Spark<\/em>\u00a0en\u00a0Python<\/em>\u00a0(PySpark<\/em>) o\u00a0Scala<\/em>. Adem\u00e1s, se permite el uso de bibliotecas externas que vinculara al trabajo mediante un archivo zip en S3.

      <\/li>\n
    • Triggers<\/strong>\u00a0se encargan de ejecutar los\u00a0Jobs<\/em>. Pueden ejecutarse seg\u00fan un cronograma, un evento de CloudWatch o incluso un comandos cron.

      <\/li>\n
    • Workflows<\/strong>\u00a0es un conjunto\u00a0triggers<\/em>,\u00a0crawlers<\/em>\u00a0y\u00a0jobs<\/em>\u00a0relacionados entre s\u00ed en\u00a0AWS Glue<\/em>. Con ellos se puede crear un flujo de trabajo para realizar una ETL compleja de varios pasos pero que\u00a0AWS Glue<\/em>\u00a0puede ejecutar como entidad \u00fanica.

      <\/li>\n
    • ML Transforms<\/strong>\u00a0son unos trabajos espec\u00edficos que mediante modelos de\u00a0Machine Learning<\/em>\u00a0crean transformaciones personalizadas para la limpieza de los datos como por ejemplo identificaci\u00f3n de datos duplicados.

      <\/li>\n
    • Finalmente, tambi\u00e9n es posible usar\u00a0Dev Endpoints<\/strong>\u00a0y\u00a0Notebooks<\/strong>, que facilitan el desarrollo y probar los scripts de manera m\u00e1s r\u00e1pida y sencilla.<\/li>\n<\/ul>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
      \n\t\t\t\t
      \n\t\t\t\t\t\t\t
      \n\t\t\t
      <\/div>\n\t\t<\/div>\n\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
      \n\t\t\t\t
      \n\t\t\t\t\t

      Ejemplos<\/h2>\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t
      \n\t\t\t\t
      \n\t\t\t\t\t\t\t\t\t

      Script de ejemplo de ETL en Python:<\/p>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t

      \n\t\t\t\t
      \n\t\t\t\t\t
      import sys\r\nfrom awsglue.transforms import *\r\nfrom awsglue.utils import getResolvedOptions\r\nfrom pyspark.context import SparkContext\r\nfrom awsglue.context import GlueContext\r\nfrom awsglue.dynamicframe import DynamicFrame\r\nfrom awsglue.job import Job\r\n\r\nargs = getResolvedOptions(sys.argv, ['JOB_NAME'])\r\n\r\nsc = SparkContext()\r\n\r\nglueContext = GlueContext(sc)\r\nspark = glueContext.spark_session\r\njob = Job(glueContext)\r\n\r\n## Read Data from a RDS DB using JDBC driver\r\nconnection_option = {\r\n"url": "jdbc:mysql:\/\/mysql–instance1.123456789012.us-east-1.rds.amazonaws.com:3306\/database",\r\n"user": "test",\r\n"password": "password",\r\n"dbtable": "test_table",\r\n"hashexpression": "column_name",\r\n"hashpartitions": "10"\r\n}\r\n\r\nsource_df = glueContext.create_dynamic_frame.from_options('mysql', connection_options = connection_option, transformation_ctx = "source_df")\r\n\r\njob.init(args['JOB_NAME'], args)\r\n\r\n## Convert DataFrames to *AWS Glue* 's DynamicFrames Object\r\ndynamic_df = DynamicFrame.fromDF(source_df, glueContext, "dynamic_df")\r\n\r\n## Write Dynamic Frame to S3 in CSV format\r\ndatasink = glueContext.write_dynamic_frame.from_options(frame = dynamic_df, connection_type = "s3", connection_options = {\r\n"path": "s3:\/\/glueuserdata"\r\n}, format = "csv", transformation_ctx = "datasink")\r\n\r\njob.commit() <\/code><\/pre>