Serás responsable del diseño, desarrollo y operación de sistemas de datos a gran escala que operan a nivel de petabytes.
te enfocarás en infraestructura de big data distribuido y machine learning.
trabajarás de forma cercana con ingenieros, product managers, desarrolladores de bi, arquitectos y stakeholders de negocio para ofrecer soluciones técnicas escalables y robustas.requisitos:- mínimo 6 años de experiencia en desarrollo de big data.
- demuestra experiencia actualizada en data engineering y en el desarrollo de pipelines de datos complejos.
- experiencia en modelos ágiles.
- diseñar, desarrollar, implementar y optimizar sistemas y pipelines distribuidos a gran escala que procesan grandes volúmenes de datos, con enfoque en escalabilidad, baja latencia y tolerancia a fallos.
- experiencia necesaria con java o python para escribir pipelines de datos y capas de procesamiento.
- experiencia en airflow y github.
- inglés conversacional- experiencia en la creación de jobs mapreduce.
- experiencia en la escritura de consultas complejas y altamente optimizadas sobre grandes conjuntos de datos.
- alta competencia en sql- experiencia con tecnologías en la nube (gcp, azure).
- apoyo en la implementación y operación de pipelines de datos y soluciones analíticas.
- experiencia en optimización de rendimiento de sistemas que trabajan con grandes volúmenes de datos.
- experiencia en servicios de datos mediante api rest (consumo de datos).
- experiencia práctica con herramientas etl, como dataiku, para preparación, transformación de datos y orquestación de pipelines.