Jobs Data Engineer SQL in Madrid
Estás son las últimas ofertas de trabajo de Data Engineer SQL in Madrid encontradas.
job(s)
-
05/09/2024
Madrid, Other
Desde Sandav Consultores estamos en búsqueda de un Data Engineer para cliente ubicado en Madrid (zona de Arganzuela) con modalidad híbrida de trabajo (un mes se trabajará 2 días de manera presencial y 3 días de teletrabajo a la semana) y otro mes 100% remoto. Y así sucesivamente meses alternos. Desarrollo de Modelado de Datos y Pipelines con Spark y Scala para ingesta y transformación. datos de diferentes fuentes (temas de Kafka, API, HDFS, bases de datos estructuradas, archivos) en Le siguen HDFS, IBM Cloud Storage (generalmente en formato parquet) o bases de datos SQL/NOSQL. Gestionar soluciones de almacenamiento de big data en la plataforma (HDFS, IBM Cloud Storage, estructurado y bases de datos no estructuradas) Transformación y Calidad de Datos: implementar transformación de datos y control de calidad. procesos para garantizar la coherencia y precisión de los datos. Utilizar lenguajes de programación como Scala y SQL. Y bibliotecas como Spark para operaciones de enriquecimiento y transformación de datos. Implementación de canales de CI/CD: configurar canales de CI/CD para automatizar la implementación, unidad pruebas y gestión del desarrollo. Migración de infraestructura: migrar la infraestructura de Hadoop existente a la infraestructura de nube en Kubernetes Engine, Object Storage (almacenamiento en la nube de IBM), Spark como servicio en Scala (para construir las canalizaciones de datos) y Airflow como servicio (para orquestar y programar los datos tuberías) Implementación de esquemas, consultas y vistas en bases de datos SQL/NoSQL como Oracle, Postgres o MongoDB Desarrollar y configurar la programación de canalizaciones de datos con una combinación de scripts de shell. y AirFlow como servicio Pruebas de validación: realizar pruebas unitarias y de validación para garantizar la precisión y la integridad. Documentación: redactar documentación técnica (especificaciones, documentos operativos) para asegurar la capitalización del conocimiento. Requisitos mínimos -Spark en Scala como lenguaje de desarrollo de canalización de datos heredado - Spark como servicio en Scala como plataforma de desarrollo de canales de datos - Experiencia en el diseño y desarrollo de procesos de streaming utilizando Spark Streaming, - Transmisión de estructura Spark y Apache Kafka - Gestión de soluciones heredadas de almacenamiento de big data (HDFS) - Gestión de soluciones de almacenamiento de big data (IBM Cloud Object Storage y formato parquet) - Implementación de esquemas, consultas y vistas de bases de datos SQL/NO SQL (MongoDB, Oracle, Postgres) - Shell scripting y Airflow como solución de programación de canalización de datos - Dremio como herramienta de virtualización de datos - Dataiku como herramienta de preparación de datos como bonificación - Inglés nivel alto (B2-C1). Requisitos deseados Se valora positivamente si se tiene Francés.
-
02/09/2024
Madrid
Porque trabajar en Sopra Steria, también es sentir Sopra Steria Somos un reconocido líder europeo en consultoría, servicios digitales y desarrollo de software, con cerca de 56.000 empleados en casi 30 países y más de 4.000 en España. Nos enfocamos en las personas, en su formación y desarrollo profesional, lo que nos impulsa a crecer y mejorar constantemente. Tenemos pasión por lo digital y al igual que tú, buscamos la mejor de las aventuras. Queremos que tu día a día se convierta en la mejor de tus inspiraciones. Que aprendas, aportes, te diviertas, crezcas y que, sobre todo, disfrutes al máximo. Si quieres formar parte de un equipo "Great Place to Work", ¡Sigue leyendo! ¿Qué reto proponemos? Nos gustaría incorporar a un par de personas con experiencia como Data Engineer y con experiencia en PySpark y SQL para colaborar en importante proyecto del sector seguros. ¿Qué buscamos? Al menos 2 - 3 años de experiencia como Data Engineer Muy valorable experiencia con Palantir Foundry Experiencia con Pyspark/Scala y/o Python Experiencia con SQL/MySQL Valorable conocimientos en Tableau, Denodo, PowerBI, Data bricks ¿Qué tenemos para ti? Contrato indefinido y jornada completa. 23 días de vacaciones. Formación continua: competencias técnicas, transversales y de idiomas. Contamos con acceso a certificaciones, formaciones de los principales Partners Tecnológicos, plataformas online y ¡mucho más! Seguro de vida y de accidentes Posibilidad de acogerte a nuestra retribución flexible (seguro médico, cheques guarderías, transporte, comida y formación) Acceso a Privilege Club, donde encontrarás descuentos interesantes en las principales marcas Onboarding personalizado y detallado. Te acompañamos en todo momento para que te sientas #soprano desde el primer momento. Oficina con espacios reservados al ocio. ¡Trabajo y diversión unido! Compañerismo y buen ambiente, el poder de la unión lo tenemos presente. Salario negociable en función de las expectativas y experiencia. Horario 09:00 a 18:00, jornada intensiva en verano Modalidad híbrida de teletrabajo en Madrid (40% - 60%) Y lo más importante...Tienes la posibilidad de desarrollar tu carrera profesional con nosotros: Crearemos juntos un plan de carrera personalizado. Te formarás, marcaremos objetivos y llevaremos a cabo un seguimiento para asegurarnos de que lo conseguimos juntos. Escuchamos tus prioridades y luchamos por ellas. ¡Aquí tu voz importa! ¡Únete a nosotros y sé parte de algo más! The world is how we shape it