Responsabilidades
* diseñar y desarrollar: arquitectar, construir y optimizar pipelines de datos (etl/elt) utilizando servicios nativos de aws como aws glue, aws step functions, aws lambda y amazon kinesis.
* gestión de la infraestructura: administrar y mantener data lakes, data warehouses y bases de datos en aws, incluyendo amazon s3, amazon redshift, amazon dynamodb y amazon aurora.
* optimización del rendimiento: monitorear y optimizar el rendimiento de los pipelines y los sistemas de almacenamiento de datos para garantizar una alta disponibilidad y eficiencia.
* garantía de la calidad: implementar procesos de calidad de datos, pruebas unitarias y de integración para asegurar la precisión y fiabilidad de los datos.
* colaboración: trabajar de cerca con científicos de datos, analistas de negocio y equipos de desarrollo para comprender los requisitos de datos y ofrecer soluciones efectivas.
* documentación: crear y mantener documentación técnica detallada sobre la arquitectura de datos, los flujos de trabajo y los procesos.
* mentoría: guiar y capacitar a ingenieros de datos junior en las mejores prácticas de aws y de ingeniería de datos.
requisitos y cualificaciones
* experiencia: mínimo de 5 años de experiencia como data engineer, con al menos 3 años de experiencia práctica y profunda en aws.
* dominio de python para el scripting y el desarrollo de pipelines.
* experiencia con servicios de aws clave para ingeniería de datos: s3, glue, redshift, athena, lambda y kinesis.
* conocimiento de bases de datos relacionales y nosql.
* experiencia con herramientas de orquestación de flujos de trabajo como apache airflow.
* familiaridad con prácticas de devops y herramientas como git, docker y terraform o cloudformation.
* fuertes habilidades de resolución de problemas y atención al detalle.
* excelente comunicación y capacidad para trabajar en equipo.
* autodidacta y con ganas de aprender nuevas tecnologías.
* habilidad para gestionar múltiples tareas y prioridades de forma efectiva.
#j-18808-ljbffr