*buscamos 7 desarrolladores back end sr. Big data engineer*
funciones: backend engineer
tecnologías y herramientas principales: data
- *descripción*:_
como parte del equipo de ingeniería de datos internacional, será responsable del diseño, desarrollo y operaciones de sistemas de datos a gran escala que operan a escala de petabytes. Se centrará en canalizaciones de datos en tiempo real, análisis de transmisión, big data distribuido e infraestructura de aprendizaje automático. Interactuará con ingenieros, gerentes de productos, desarrolladores de bi y arquitectos para brindar soluciones técnicas robustas y escalables.
funciones y responsabilidades laborales esenciales:
- mínimo de 6 a 8 años de experiência en desarrollo de grandes datos.
- demuestra experiência actualizada en ingeniería de datos, desarrollo de canalización de datos complejos.
- diseñar, desarrollar, implementar y ajustar sistemas distribuidos a gran escala y canalizaciones que procesan grandes volúmenes de datos; centrándose en la escalabilidad, la baja latencia y la tolerancia a fallos en cada sistema construido.
- experiência con java, python para escribir canalizaciones de datos y capas de procesamiento de datos.
- experiência en escribir trabajos de reducción de mapas.
- demuestra experiência en escribir consultas complejas y altamente optimizadas en grandes conjuntos de datos.
- experiência laboral comprobada con big data technologies hadoop, hive, kafka, presto, spark, hbase, automic y aorta.
- altamente competente en sql.
- experiência con tecnologías en la nube (gcp, azure).
- la experiência con almacenes de datos relacionales, nosql/en memoria sería una gran ventaja (oracle, cassandra, druid).
- proporciona y respalda la implementación y las operaciones de las canalizaciones de datos y las soluciones analíticas.
- experiência en el ajuste del rendimiento de los sistemas que trabajan con grandes conjuntos de datos.
- experiência en el procesamiento de datos de transmisión. Servicio de datos de api rest
- la experiência minorista es una gran ventaja o el data wrangler este desarrollador se encargará de la incorporación de nuevas métricas a tld, así como optimizaciones y estandarización de la información para el producto.
- *requerimientos*:_
- experiência en azure databricks.
- airflow 1 / airflow 2 astronomer.
- arquitectura gcp (storage, dataproc).
- python, spark, sql, git, flujos prs.
- conocimiento en azure blob storage / fileshares.
- generación de claves sas.
- manejo de cuentas de servicio.
- experiência en metodologías etl, el, elt y técnicas de calidad de los datos.
- deseable: experiência trabajando en metodologías agiles / scrum.
tipo de puesto: tiempo completo, por tiempo indeterminado
salario: $55,000.00 - $65,000.00 al mes
horario:
- lunes a viernes
- turno de 10 horas
lugar de trabajo: remoto híbrido en 53390, naucalpan de juárez, méx.