Responsable de diseñar, desarrollar y mantener la arquitectura de datos de la empresa. Su función principal es asegurar que los datos fluyan de manera eficiente y confiable desde diversas fuentes hasta los sistemas de almacenamiento y procesamiento, como un lago de datos (data lake), para que puedan ser utilizados para análisis y generación de reportes .
Requisitos:
* Experiencia en la interpretación de requerimientos de negocio y su traducción a tareas técnicas para el equipo de ingeniería.
* Capacidad para trabajar de forma colaborativa en equipos de desarrollo, utilizando metodologías ágiles como Scrum.
* Conocimiento sólido en procesos de ETL (Extracción, Transformación y Carga) y ELT (Extracción, Carga y Transformación).
* Experiencia demostrable en el análisis de grandes volúmenes de datos.
Habilidades técnicas
* SQL: Nivel avanzado para consultas complejas y optimización.
* Python: Dominio del lenguaje, incluyendo librerías para manipulación de datos como Pandas y Polars
* Google Cloud Platform (GCP): Experiencia específica con servicios como BigQuery, Dataflow y Storage
* Herramientas de orquestación: Conocimiento en la creación y mantenimiento de flujos de trabajo con herramientas como Airflow
* Procesamiento de datos: Experiencia con motores de procesamiento distribuido como Spark y su API en Python (pyspark)
* Conocimiento en otras plataformas de datos como Databricks y Hadoop
* Experiencia con sistemas de mensajería en tiempo real como Kafka .
* Habilidad en Shell scripting para automatización de tareas
* Familiaridad con prácticas de Integración Continua y Despliegue Continuo (CI/CD)
* Manejo de herramientas de gestión de proyectos y colaboración como Jira y Confluence
Actividades a Realizar
* Diseñar, crear, implementar y optimizar pipelines de datos para la integración y procesamiento de información
* Modelar tablas y estructuras de datos dentro del lago de datos de la compañía
* Validar las fuentes de datos para asegurar su calidad y consistencia
* Crear y mantener flujos de datos que alimenten la generación de reportes y dashboards
* Colaborar con el equipo utilizando la metodología Scrum para el desarrollo de proyectos
* Realizar análisis sobre grandes volúmenes de datos para extraer información de valor