Como parte del equipo de ingenieros de datos, serás responsable del diseño, desarrollo y operaciones de sistemas de datos a gran escala que operan a escala de petabytes. Te centrarás en la gestión de datos en tiempo real, el análisis de streaming, el big data distribuido y la infraestructura de aprendizaje automático. Interactuarás con ingenieros, gerentes de producto, desarrolladores de inteligencia empresarial y arquitectos para ofrecer soluciones técnicas robustas y escalables.
requisitos:
* mínimo de 6 a 8 años de experiencia en desarrollo de big data.
* se requiere experiencia actualizada en ingeniería de datos y desarrollo de pipelines de datos complejos.
* experiencia en modelos ágiles.
* diseñar, desarrollar, implementar y optimizar sistemas y pipelines distribuidos a gran escala que procesan grandes volúmenes de datos, priorizando la escalabilidad, la baja latencia y la tolerancia a fallos en cada sistema.
* experiencia con java y python para la creación de pipelines de datos y capas de procesamiento.
* experiencia en airflow y github.
* inglés conversacional.
* experiencia en la creación de trabajos de map-reduce.
* se requiere experiencia en la creación de consultas complejas y altamente optimizadas en grandes conjuntos de datos.
* experiencia demostrada con tecnologías de big data como hadoop, hive, kafka, presto, spark y hbase.
* alto nivel de sql.
* experiencia con tecnologías en la nube (gcp)
* se valorará la experiencia con modelos relacionales y almacenes de datos en memoria (oracle, cassandra, druid)
* proporciona y da soporte a la implementación y operación de canalizaciones de datos y soluciones analíticas.
* experiencia en optimización del rendimiento de sistemas que trabajan con grandes conjuntos de datos.
* experiencia en servicios de datos de api rest: consumo de datos.
* se valorará la experiencia en comercio minorista.