Resumen del rol
el consultor senior azure data engineer es el responsable de la arquitectura técnica y la integridad de los flujos de datos. Su función principal es diseñar e implementar estrategias de ingesta masiva desde sistemas críticos (sap) hacia azure, garantizando que el procesamiento en snowflake sea escalable, eficiente en costos y de alto rendimiento. Actúa como el punto de escalación técnica y mentor para los perfiles junior.
responsabilidades principales
* diseño de arquitectura de datos: definir la estructura de ingesta y almacenamiento en adls gen2, asegurando la transición correcta de los datos entre las capas bronze, silver y gold.
* ingestas complejas: liderar la conexión y extracción de datos desde sap (s/4hana, ecc) utilizando azure data factory, gestionando configuraciones avanzadas de integration runtimes.
* optimización en snowflake: desarrollar y supervisar procesos etl/elt avanzados mediante sql experto. Optimizar el uso de recursos (warehouses), gestión de micro-particiones y estrategias de clustering.
* gobernanza y seguridad: implementar políticas de seguridad de datos, cifrado, control de accesos (rbac) y asegurar el cumplimiento de estándares de calidad de datos.
* liderazgo técnico: realizar revisiones de código (code reviews), definir estándares de desarrollo para el equipo y resolver cuellos de botella técnicos en el proyecto.
requisitos requerimientos técnicos indispensables (hard skills)
* azure data factory (experto):
o diseño de arquitecturas dinámicas y parametrizadas.
o manejo avanzado de self-hosted integration runtimes (para conexiones con sap).
o implementación de flujos de control complejos (bucles, condicionales, manejo de errores y reintentos).
* snowflake (avanzado):
o dominio de la arquitectura de almacenamiento y cómputo.
o manejo de time travel, fail-safe y zero-copy cloning.
o experiencia en optimización de costos y rendimiento de virtual warehouses.
* sql (nivel experto):
o escritura de código altamente eficiente.
o uso de window functions, common table expressions (ctes) y procedimientos almacenados.
o tuning y optimización de consultas (análisis de planes de ejecución).
* ecosistema sap:
o experiencia comprobable en la extracción de datos desde sap (ecc o s/4hana).
o conocimiento de protocolos de comunicación (odp, rfc, vistas cds o sap table).
* azure storage:
o configuración avanzada de adls gen2 (seguridad, acls y gestión de capas bronze, silver, gold).
#j-18808-ljbffr