Senior Data Engineer

¡Forma parte del futuro en Paradigma Digital! Buscamos talento para una posición de Senior Data Engineer. Tienes la oportunidad de sumarte a un equipo innovador, flexible y comprometido.

Responsabilidades

• Diseñar e implementar la capa de almacenamiento masivo utilizando Apache Iceberg y Polaris Catalog sobre S3/Open S3 (MinIO) asegurando consistencia y rendimiento.
• Crear arquitecturas Lakehouse modernas.
• Desarrollar procesos ETL/ELT avanzados con Spark y Python para la ingesta de fuentes heterogéneas.
• Implementar la capa de observabilidad y catálogo de datos mediante OpenMetadata.
• Configurar flujos de trabajo con Airflow y gestionar eventos en tiempo real con Kafka.
• Implementar Trino como motor de consultas federadas para consulta de múltiples fuentes.

Experiencia requerida

• Python, Apache Spark (PySpark).
• Lakehouse, Apache Iceberg, Polaris Catalog, ...