En etribe, estamos buscando un data engineer (ingeniero de datos) talentoso y proactivo para ser el arquitecto y constructor de nuestras autopistas de datos. Serás la pieza clave encargada de diseñar, implementar y mantener los flujos de datos que alimentan toda nuestra estrategia de analítica, bi e inteligencia artificial.
tu misión será transformar datos crudos en información fiable, accesible y optimizada. Si te apasiona resolver problemas complejos, automatizar procesos y construir soluciones de datos escalables en un entorno cloud moderno con azure y databricks, este es tu desafío ideal.
responsabilidades clave
* construcción de pipelines de datos: diseñar, construir y mantener pipelines de datos robustos, escalables y eficientes para procesos de ingesta, transformación y carga (etl/elt).
* desarrollo en plataformas cloud: desarrollar flujos de trabajo en azure data factory, notebooks en azure databricks (usando pyspark) y pipelines dentro de microsoft fabric para procesar grandes volúmenes de datos.
* gestión del data lakehouse: implementar y mantener nuestra arquitectura data lakehouse, asegurando una correcta organización, almacenamiento y gobernanza de los datos.
* calidad y limpieza de datos: implementar procesos de limpieza, estandarización, validación y enriquecimiento de datos para garantizar su máxima calidad y fiabilidad para el consumo.
* optimización y rendimiento: monitorear y optimizar el rendimiento de los pipelines de datos y las consultas, asegurando un consumo eficiente por parte de analistas, científicos de datos y herramientas como power bi.
* automatización y devops: automatizar los despliegues de los pipelines de datos mediante prácticas de ci/cd (dataops) en un entorno de azure devops.
requisitos del perfil | ¿qué buscamos?
experiencia y conocimientos técnicos indispensables:
* nivel experto en plataformas de datos azure:
* dominio experto del ecosistema de datos de azure: azure databricks, azure data factory.
* conocimiento práctico y experiencia demostrable en microsoft fabric (pipelines, dataflows gen2).
* experiencia sólida en la construcción y mantenimiento de arquitecturas data lakehouse.
* nivel experto en lenguajes de programación:
* nivel experto y profundo dominio de sql para la manipulación y consulta de datos complejos.
* sólida experiencia en programación con python, específicamente con la librería pyspark.
* buen manejo de powershell para la creación de scripts y automatización de tareas en azure.
* se valorará positivamente el conocimiento de java.
conocimientos adicionales:
* nivel conocimiento en operaciones (devops):
* familiaridad con la creación de pipelines ci/cd en azure devops para la integración y despliegue continuo de procesos de datos.
* nivel conocimiento en bi y metodologías:
* comprensión de power bi desde la perspectiva del proveedor de datos (optimización de fuentes, etc.).
* experiencia trabajando bajo una metodología agile.
habilidades blandas esenciales:
* resolución de problemas: fuerte capacidad analítica para diagnosticar y solucionar problemas complejos en flujos de datos.
* atención meticulosa al detalle: rigurosidad para garantizar la calidad y precisión de los datos en cada etapa del proceso.
* organización y gestión: habilidad para gestionar múltiples pipelines y proyectos de manera simultánea y organizada.
* trabajo en equipo: excelente disposición para colaborar con arquitectos, analistas y científicos de datos en un entorno técnico.
tipo de puesto: tiempo completo
sueldo: $38, $46,000.00 al mes
beneficios:
* aumentos salariales
* días de maternidad superiores a los de la ley
* días de paternidad superiores a los de la ley
* días por enfermedad
* horarios flexibles
* opción a contrato indefinido
* trabajo desde casa
* vacaciones adicionales o permisos con goce de sueldo
experiencia:
* azure: 3 años (obligatorio)
* azure databricks: 3 años (obligatorio)
lugar de trabajo: remoto híbrido en 05348, santa fe cuajimalpa, cdmx