Treball Data Engineer Kafka en Espanya

Desde Sandav Consultores estamos en búsqueda de un Data Engineer para cliente ubicado en Madrid (zona de Arganzuela) con modalidad híbrida de trabajo (un mes se trabajará 2 días de manera presencial y 3 días de teletrabajo a la semana) y otro mes 100% remoto. Y así sucesivamente meses alternos. Desarrollo de Modelado de Datos y Pipelines con Spark y Scala para ingesta y transformación. datos de diferentes fuentes (temas de Kafka, API, HDFS, bases de datos estructuradas, archivos) en Le siguen HDFS, IBM Cloud Storage (generalmente en formato parquet) o bases de datos SQL/NOSQL. Gestionar soluciones de almacenamiento de big data en la plataforma (HDFS, IBM Cloud Storage, estructurado y bases de datos no estructuradas) Transformación y Calidad de Datos: implementar transformación de datos y control de calidad. procesos para garantizar la coherencia y precisión de los datos. Utilizar lenguajes de programación como Scala y SQL. Y bibliotecas como Spark para operaciones de enriquecimiento y transformación de datos. Implementación de canales de CI/CD: configurar canales de CI/CD para automatizar la implementación, unidad pruebas y gestión del desarrollo. Migración de infraestructura: migrar la infraestructura de Hadoop existente a la infraestructura de nube en Kubernetes Engine, Object Storage (almacenamiento en la nube de IBM), Spark como servicio en Scala (para construir las canalizaciones de datos) y Airflow como servicio (para orquestar y programar los datos tuberías) Implementación de esquemas, consultas y vistas en bases de datos SQL/NOSQL como Oracle, Postgres o MongoDB Desarrollar y configurar la programación de canalizaciones de datos con una combinación de scripts de shell. y AirFlow como servicio Pruebas de validación: realizar pruebas unitarias y de validación para garantizar la precisión y la integridad. Documentación: redactar documentación técnica (especificaciones, documentos operativos) para asegurar la capitalización del conocimiento. Se ofrece: Proyecto estable. Contrato indefinido. Modalidad de trabajo: híbrida (un mes se trabajará 2 días de manera presencial y 3 días de teletrabajo a la semana) y otro mes 100% remoto. Y así sucesivamente meses alternos. Horario: Jornada completa de lunes-jueves (en principio de 09-18h) y viernes y verano intensiva Tienen flexibilidad total en cuanto a horario para entrar entre las 8-9h, 1 hora para comer y salir sobre las 17:30. Son 8,5 horas al día para acumular de cara a los días de jornadas intensivas. Salario: 39.000EUR - 41.000EUR / brutos anuales (en función de la experiencia aportada). Se valoran candidaturas por salarios superiores en función de la experiencia). Seguro médico opcional que incluye seguro dental y psicología y retribución flexible a nivel de tickets restaurante. Cursos de formación gratuita.

Porque trabajar en Sopra Steria, también es sentir Sopra Steria. Somos un reconocido líder europeo en consultoría, servicios digitales y desarrollo de software, con cerca de 56.000 empleados en casi 30 países y más de 4.000 en España. Nos enfocamos en las personas, en su formación y desarrollo profesional, lo que nos impulsa a crecer y mejorar constantemente. Tenemos pasión por lo digital y al igual que tú, buscamos la mejor de las aventuras. Queremos que tu día a día se convierta en la mejor de tus inspiraciones. Que aprendas, aportes, te diviertas, crezcas y que, sobre todo, disfrutes al máximo. Si quieres formar parte de un equipo "Great Place to Work", ¡Sigue leyendo! Requisitos ¿Qué reto proponemos? Queremos incorporar al equipo un/a Data Analyst con experiencia en proyectos con Spark y Scala y entornos Big Data, para trabajar en importante cliente ubicado en Madrid y/o Sevilla. La persona que se incorpore participará en diferentes equipos de data y se encargará del desarrollo y mantenimiento de nuevas plataformas Big Data dentro del cliente. Ofrecemos: Horario flexible: Entrada de 8 a 9:30 y salida a partir de las 17:00. Viernes de 8 a 15:00 (Jornada intensiva en verano) Modelo híbrido teletrabajo en oficinas de Madrid y/o Sevilla ¿Qué buscamos? Experiencia de al menos cuatro (4) años como data engineer/data analyst Conocimientos o experiencia en sector bancario o financiero Experiencia con Spark y Scala Experiencia previa con Apache Kafka Experiencia en manejo de soluciones Big Data Nivel de inglés mínimo C1 (no es necesaria certificación, pero si poder trabajar en dicho idioma de manera fluida). Valorable nivel intermedio/alto de Francés. Se ofrece ¿Qué ofrecemos? ¿Qué tenemos para ti? Contrato indefinido y jornada completa 23 días de vacaciones Formación continua: competencias técnicas, transversales y de idiomas. Contamos con acceso a certificaciones, formaciones de los principales Partners Tecnológicos, plataformas online y ¡mucho más! Seguro de vida y de accidentes Posibilidad de acogerte a nuestra retribución flexible (seguro médico, cheques guarderías, transporte, comida y formación) Acceso a Privilege Club, donde encontrarás descuentos interesantes en las principales marcas Onboarding personalizado y detallado. Te acompañamos en todo momento para que te sientas #soprano desde el primer momento. Oficina con espacios reservados al ocio. ¡Trabajo y diversión unido! Compañerismo y buen ambiente, el poder de la unión lo tenemos presente. Y lo más importante...Tienes la posibilidad de desarrollar tu carrera profesional con nosotros: Crearemos juntos un plan de carrera personalizado. Te formarás, marcaremos objetivos y llevaremos a cabo un seguimiento para asegurarnos de que lo conseguimos juntos. Escuchamos tus prioridades y luchamos por ellas. ¡Aquí tu voz importa! ¡Únete a nosotros y sé parte de algo más! The world is how we shape it

Desde Sandav Consultores estamos en búsqueda de un Data Engineer para cliente ubicado en Madrid (zona de Arganzuela) con modalidad híbrida de trabajo (un mes se trabajará 2 días de manera presencial y 3 días de teletrabajo a la semana) y otro mes 100% remoto. Y así sucesivamente meses alternos. Desarrollo de Modelado de Datos y Pipelines con Spark y Scala para ingesta y transformación. datos de diferentes fuentes (temas de Kafka, API, HDFS, bases de datos estructuradas, archivos) en Le siguen HDFS, IBM Cloud Storage (generalmente en formato parquet) o bases de datos SQL/NOSQL. Gestionar soluciones de almacenamiento de big data en la plataforma (HDFS, IBM Cloud Storage, estructurado y bases de datos no estructuradas) Transformación y Calidad de Datos: implementar transformación de datos y control de calidad. procesos para garantizar la coherencia y precisión de los datos. Utilizar lenguajes de programación como Scala y SQL. Y bibliotecas como Spark para operaciones de enriquecimiento y transformación de datos. Implementación de canales de CI/CD: configurar canales de CI/CD para automatizar la implementación, unidad pruebas y gestión del desarrollo. Migración de infraestructura: migrar la infraestructura de Hadoop existente a la infraestructura de nube en Kubernetes Engine, Object Storage (almacenamiento en la nube de IBM), Spark como servicio en Scala (para construir las canalizaciones de datos) y Airflow como servicio (para orquestar y programar los datos tuberías) Implementación de esquemas, consultas y vistas en bases de datos SQL/NoSQL como Oracle, Postgres o MongoDB Desarrollar y configurar la programación de canalizaciones de datos con una combinación de scripts de shell. y AirFlow como servicio Pruebas de validación: realizar pruebas unitarias y de validación para garantizar la precisión y la integridad. Documentación: redactar documentación técnica (especificaciones, documentos operativos) para asegurar la capitalización del conocimiento. Requisitos mínimos -Spark en Scala como lenguaje de desarrollo de canalización de datos heredado - Spark como servicio en Scala como plataforma de desarrollo de canales de datos - Experiencia en el diseño y desarrollo de procesos de streaming utilizando Spark Streaming, - Transmisión de estructura Spark y Apache Kafka - Gestión de soluciones heredadas de almacenamiento de big data (HDFS) - Gestión de soluciones de almacenamiento de big data (IBM Cloud Object Storage y formato parquet) - Implementación de esquemas, consultas y vistas de bases de datos SQL/NO SQL (MongoDB, Oracle, Postgres) - Shell scripting y Airflow como solución de programación de canalización de datos - Dremio como herramienta de virtualización de datos - Dataiku como herramienta de preparación de datos como bonificación - Inglés nivel alto (B2-C1). Requisitos deseados Se valora positivamente si se tiene Francés.