Treball Data Engineer Scala en Madrid

¿Qué reto proponemos? Nos gustaría incorporar a un par de personas con experiencia como Data Engineer trabajando con tecnología Python PySpark para colaborar en importante proyecto del sector seguros. ¿Qué buscamos? Al menos 2 - 3 años de experiencia como Data Engineer Experiencia y/o conocimiento en plataforma Palantir Foundry Experiencia con Pyspark/Scala Experiencia con SQL/MySQL Valorable conocimientos en Tableau, Denodo, Power BI, Data bricks. ¿Qué ofrecemos? ¿Qué tenemos para ti? Contrato indefinido y jornada completa 23 días de vacaciones Formación continua: competencias técnicas, transversales y de idiomas. Contamos con acceso a certificaciones, formaciones de los principales Partners Tecnológicos, plataformas online y ¡mucho más! Seguro de vida y de accidentes Posibilidad de acogerte a nuestra retribución flexible (seguro médico, cheques guarderías, transporte, comida y formación) Acceso a Privilege Club, donde encontrarás descuentos interesantes en las principales marcas Onboarding personalizado y detallado. Te acompañamos en todo momento para que te sientas #soprano desde el primer momento. Oficina con espacios reservados al ocio. ¡Trabajo y diversión unido! Compañerismo y buen ambiente, el poder de la unión lo tenemos presente. Horario 09:00 a 18:00, jornada intensiva en verano Modalidad híbrida de teletrabajo en Madrid, 1 día en oficina. Y lo más importante...Tienes la posibilidad de desarrollar tu carrera profesional con nosotros: Crearemos juntos un plan de carrera personalizado. Te formarás, marcaremos objetivos y llevaremos a cabo un seguimiento para asegurarnos de que lo conseguimos juntos. Escuchamos tus prioridades y luchamos por ellas. ¡Aquí tu voz importa! ¡Únete a nosotros y sé parte de algo más! The world is how we shape it

Desde Sandav Consultores estamos en búsqueda de un Data Engineer para cliente ubicado en Madrid (zona de Arganzuela) con modalidad híbrida de trabajo (un mes se trabajará 2 días de manera presencial y 3 días de teletrabajo a la semana) y otro mes 100% remoto. Y así sucesivamente meses alternos. Desarrollo de Modelado de Datos y Pipelines con Spark y Scala para ingesta y transformación. datos de diferentes fuentes (temas de Kafka, API, HDFS, bases de datos estructuradas, archivos) en Le siguen HDFS, IBM Cloud Storage (generalmente en formato parquet) o bases de datos SQL/NOSQL. Gestionar soluciones de almacenamiento de big data en la plataforma (HDFS, IBM Cloud Storage, estructurado y bases de datos no estructuradas) Transformación y Calidad de Datos: implementar transformación de datos y control de calidad. procesos para garantizar la coherencia y precisión de los datos. Utilizar lenguajes de programación como Scala y SQL. Y bibliotecas como Spark para operaciones de enriquecimiento y transformación de datos. Implementación de canales de CI/CD: configurar canales de CI/CD para automatizar la implementación, unidad pruebas y gestión del desarrollo. Migración de infraestructura: migrar la infraestructura de Hadoop existente a la infraestructura de nube en Kubernetes Engine, Object Storage (almacenamiento en la nube de IBM), Spark como servicio en Scala (para construir las canalizaciones de datos) y Airflow como servicio (para orquestar y programar los datos tuberías) Implementación de esquemas, consultas y vistas en bases de datos SQL/NOSQL como Oracle, Postgres o MongoDB Desarrollar y configurar la programación de canalizaciones de datos con una combinación de scripts de shell. y AirFlow como servicio Pruebas de validación: realizar pruebas unitarias y de validación para garantizar la precisión y la integridad. Documentación: redactar documentación técnica (especificaciones, documentos operativos) para asegurar la capitalización del conocimiento. Se ofrece: Proyecto estable. Contrato indefinido. Modalidad de trabajo: híbrida (un mes se trabajará 2 días de manera presencial y 3 días de teletrabajo a la semana) y otro mes 100% remoto. Y así sucesivamente meses alternos. Horario: Jornada completa de lunes-jueves (en principio de 09-18h) y viernes y verano intensiva Tienen flexibilidad total en cuanto a horario para entrar entre las 8-9h, 1 hora para comer y salir sobre las 17:30. Son 8,5 horas al día para acumular de cara a los días de jornadas intensivas. Salario: 39.000EUR - 41.000EUR / brutos anuales (en función de la experiencia aportada). Se valoran candidaturas por salarios superiores en función de la experiencia). Seguro médico opcional que incluye seguro dental y psicología y retribución flexible a nivel de tickets restaurante. Cursos de formación gratuita.