Gcp data engineer (ingeniero de datos gcp)
rol: ingeniero de datos gcp (google cloud platform)
descripción del puesto:
* +3 años de experiencia como data engineer
* experiencia trabajando con gcp
* experiencia en bigquery y spark
* experiencia en google cloud composer (apache airflow)
* integración con servicios de gcp: conectar composer con servicios como bigquery, cloud storage, pub/sub, dataflow, dataproc, cloud functions, entre otros.
* desarrollo de procesos etl/elt de diversas fuentes
* experiencia en pub/sub y dataflow
* conocimiento de prácticas de optimización de consultas y almacenamiento de datos
deseable: conocimiento de vertex ai y vertex endpoint para deploy y serving de modelos de machine learning
responsabilidades:
* diseñar, implementar y mantener flujos de trabajo de datos usando cloud composer (basado en apache airflow).
* automatizar tareas como extracción, transformación y carga (etl/elt) de datos desde múltiples fuentes.
* integración con servicios de gcp: conectar composer con bigquery, cloud storage, pub/sub, dataflow, dataproc, cloud functions, entre otros.
* asegurar que los pipelines sean eficientes, escalables y resilientes.
* optimización y monitoreo: implementar buenas prácticas de monitoreo, alertas y logging, optimizar el rendimiento de los dags y gestionar dependencias entre tareas.
* seguridad y gobernanza: aplicar políticas de seguridad en el acceso a datos y servicios, asegurar cumplimiento con normativas como gdpr, hipaa, etc., si aplica.
* participar en revisiones de código y diseño de arquitectura de datos.
* almacenamiento de scripts en un bucket para ejecución desde composer.
* manejo de errores mediante airflow, implementación de cloud function para notificaciones de error o término exitoso.
locación: ciudad de méxico, modalidad híbrida
acerca de softtek: fundada en 1982, softtek es un proveedor global de servicios orientados a procesos de ti con 30 oficinas en norteamérica, latinoamérica, europa y asia. Con 15 centros de desarrollo global en ee.uu., méxico, china, brasil, argentina, costa rica, españa, hungría e india. Softtek mejora resultados para grandes empresas en más de 20 países. Softtek es el creador y líder de la industria nearshore. Para más información de lo que hacemos, y de nuestras oportunidades de carreras, visita www.softtek.com / síguenos en @softtek en twitter, y únete a nuestra fanpage en www.facebook.com/softtek
#j-18808-ljbffr