Jobs Data Engineer Bigdata in Madrid

Desde Sandav estamos buscando un/a profesional Data Analyst SAS, para un proyecto en formato híbrido (3 días de oficina cada 2 semanas) Perfil: Formación: universitaria, preferiblemente en ámbitos técnicos como Ingeniería Informática, Ingeniería de Software, etc. Experiencia como Data Engineer: Dos (2) a tres (3) años. Conocimientos necesarios: SAS Base, SAS Guide, SAS Macros y SQL. Conocimientos deseables: herramientas BI y Big Data. Experiencia requerida como desarrollador de ETLs procesamiento de datos con SAS. Se ofrece: Contrato indefinido Buen clima laboral Modalidad hibrido asistencia a la oficina 3d/2 semanas Horario: L-J de 9:00 a 18:30 y V de 9:00 a 15:00. Horario de verano de 15/06 al 15/09 con horario de 8:00 a 15:00 horas (siempre en función del cliente) Banda Salarial abierta 25-29k flexibles. (siempre abiertos a negociar y adaptarnos a vuestras pretensiones) ¿Quieres trabajar en una empresa en la que sabemos cómo te llamas, nos preocupamos por tu bienestar y cuando necesitas algo te atendemos al momento? SANDAV es una empresa que basa la relación con sus empleados en la INTEGRIDAD, que en resumen quiere decir que CUMPLIMOS LO PROMETIDO. Para más información: sandavteam.com

Desde Sandav Consultores estamos en búsqueda de un Data Engineer para cliente ubicado en Madrid (zona de Arganzuela) con modalidad híbrida de trabajo (un mes se trabajará 2 días de manera presencial y 3 días de teletrabajo a la semana) y otro mes 100% remoto. Y así sucesivamente meses alternos. Desarrollo de Modelado de Datos y Pipelines con Spark y Scala para ingesta y transformación. datos de diferentes fuentes (temas de Kafka, API, HDFS, bases de datos estructuradas, archivos) en Le siguen HDFS, IBM Cloud Storage (generalmente en formato parquet) o bases de datos SQL/NOSQL. Gestionar soluciones de almacenamiento de big data en la plataforma (HDFS, IBM Cloud Storage, estructurado y bases de datos no estructuradas) Transformación y Calidad de Datos: implementar transformación de datos y control de calidad. procesos para garantizar la coherencia y precisión de los datos. Utilizar lenguajes de programación como Scala y SQL. Y bibliotecas como Spark para operaciones de enriquecimiento y transformación de datos. Implementación de canales de CI/CD: configurar canales de CI/CD para automatizar la implementación, unidad pruebas y gestión del desarrollo. Migración de infraestructura: migrar la infraestructura de Hadoop existente a la infraestructura de nube en Kubernetes Engine, Object Storage (almacenamiento en la nube de IBM), Spark como servicio en Scala (para construir las canalizaciones de datos) y Airflow como servicio (para orquestar y programar los datos tuberías) Implementación de esquemas, consultas y vistas en bases de datos SQL/NOSQL como Oracle, Postgres o MongoDB Desarrollar y configurar la programación de canalizaciones de datos con una combinación de scripts de shell. y AirFlow como servicio Pruebas de validación: realizar pruebas unitarias y de validación para garantizar la precisión y la integridad. Documentación: redactar documentación técnica (especificaciones, documentos operativos) para asegurar la capitalización del conocimiento. Se ofrece: Proyecto estable. Contrato indefinido. Modalidad de trabajo: híbrida (un mes se trabajará 2 días de manera presencial y 3 días de teletrabajo a la semana) y otro mes 100% remoto. Y así sucesivamente meses alternos. Horario: Jornada completa de lunes-jueves (en principio de 09-18h) y viernes y verano intensiva Tienen flexibilidad total en cuanto a horario para entrar entre las 8-9h, 1 hora para comer y salir sobre las 17:30. Son 8,5 horas al día para acumular de cara a los días de jornadas intensivas. Salario: 39.000EUR - 41.000EUR / brutos anuales (en función de la experiencia aportada). Se valoran candidaturas por salarios superiores en función de la experiencia). Seguro médico opcional que incluye seguro dental y psicología y retribución flexible a nivel de tickets restaurante. Cursos de formación gratuita.

Desde Sandav Consultores estamos en búsqueda de un Data Engineer para cliente ubicado en Madrid (zona de Arganzuela) con modalidad híbrida de trabajo (un mes se trabajará 2 días de manera presencial y 3 días de teletrabajo a la semana) y otro mes 100% remoto. Y así sucesivamente meses alternos. Desarrollo de Modelado de Datos y Pipelines con Spark y Scala para ingesta y transformación. datos de diferentes fuentes (temas de Kafka, API, HDFS, bases de datos estructuradas, archivos) en Le siguen HDFS, IBM Cloud Storage (generalmente en formato parquet) o bases de datos SQL/NOSQL. Gestionar soluciones de almacenamiento de big data en la plataforma (HDFS, IBM Cloud Storage, estructurado y bases de datos no estructuradas) Transformación y Calidad de Datos: implementar transformación de datos y control de calidad. procesos para garantizar la coherencia y precisión de los datos. Utilizar lenguajes de programación como Scala y SQL. Y bibliotecas como Spark para operaciones de enriquecimiento y transformación de datos. Implementación de canales de CI/CD: configurar canales de CI/CD para automatizar la implementación, unidad pruebas y gestión del desarrollo. Migración de infraestructura: migrar la infraestructura de Hadoop existente a la infraestructura de nube en Kubernetes Engine, Object Storage (almacenamiento en la nube de IBM), Spark como servicio en Scala (para construir las canalizaciones de datos) y Airflow como servicio (para orquestar y programar los datos tuberías) Implementación de esquemas, consultas y vistas en bases de datos SQL/NoSQL como Oracle, Postgres o MongoDB Desarrollar y configurar la programación de canalizaciones de datos con una combinación de scripts de shell. y AirFlow como servicio Pruebas de validación: realizar pruebas unitarias y de validación para garantizar la precisión y la integridad. Documentación: redactar documentación técnica (especificaciones, documentos operativos) para asegurar la capitalización del conocimiento. Requisitos mínimos -Spark en Scala como lenguaje de desarrollo de canalización de datos heredado - Spark como servicio en Scala como plataforma de desarrollo de canales de datos - Experiencia en el diseño y desarrollo de procesos de streaming utilizando Spark Streaming, - Transmisión de estructura Spark y Apache Kafka - Gestión de soluciones heredadas de almacenamiento de big data (HDFS) - Gestión de soluciones de almacenamiento de big data (IBM Cloud Object Storage y formato parquet) - Implementación de esquemas, consultas y vistas de bases de datos SQL/NO SQL (MongoDB, Oracle, Postgres) - Shell scripting y Airflow como solución de programación de canalización de datos - Dremio como herramienta de virtualización de datos - Dataiku como herramienta de preparación de datos como bonificación - Inglés nivel alto (B2-C1). Requisitos deseados Se valora positivamente si se tiene Francés.