Treball Data Engineer NoSQL en Espanya

Trabajarás como Data Engineer 100% en remoto en un nuevo proyecto del sector bancario, donde se va a comenzar con el análisis de la información existente y posteriormente se va a desarrollar, participando en todo el ciclo de vida del proyecto. ¿Cómo será tu día a día? Análisis de la información existente. Ver los requisitos del proyecto. Modelado de datos. Desarrollo en Spark y Java. Desarrollo de API REST. ¿Qué te hará triunfar en la posición? Formación en Informática o Matemáticas. 3 años de experiencia como Data Engineer desarrollando con Spark y/o Java. Experiencia en modelado de datos. Experiencia con API REST, Elasticsearch (ELK) y MongoDB. Experiencia en SQL y NoSQL. ¿Quiénes somos? Somos una empresa líder en el sector tecnológico, con 20 años de experiencia y más de 500 profesionales repartidos en España, México, Cololombia y Perú. En Zemsania, nos apasiona la innovación y el desarrollo de soluciones tecnológicas que impacten de manera positiva a nuestros clientes. ¿Por qué trabajar con nosotros? En Zemsania, valoramos el talento y la pasión por la tecnología. Ofrecemos un ambiente de trabajo dinámico, colaborativo y lleno de oportunidades de crecimiento y desarrollo profesional. ¡Si buscas un lugar donde tus habilidades sean valoradas y donde puedas seguir aprendiendo, Zemsania es el lugar para ti! ¿Qué ofrecemos? Modalidad de trabajo 100% REMOTO, con reuniones puntuales en Madrid. Horario: lunes a jueves de 8 a 18h (con flexibilidad de entrada de 1 hora y 1 hora para comer) e intensiva los viernes hasta las 15h. Jornada intensiva los meses de julio y agosto, de 8 a 15h todos los días. Posición estable, indefinida y de larga duración. Salario competitivo según la experiencia y lo que puedas aportar al proyecto. Oportunidades de formación en tecnologías punteras (Open Webinars). Clases de inglés con diferentes niveles, adaptadas a ti. Certificaciones pagadas en las últimas tendencias. Amplio abanico de retos y proyectos. Acceso a beneficios fiscales gracias a nuestro plan de Retribución Flexible (ticket restaurante, transporte, guardería y formación). Finalizar el contrato siempre es la última opción, buscamos entre la multitud de proyectos que tenemos otro que pueda interesarte. Seguimiento personalizado gracias al acompañamiento de nuestra figura de People Partner y un Business Manager. Trato cercano y seguimiento: vas a estar en constante comunicación con nosotros para saber cómo avanza el proyecto. ¡DA EL PASO PARA COMENZAR TU NUEVA ETAPA PROFESIONAL!

Desde Sandav Consultores estamos en búsqueda de un Data Engineer para cliente ubicado en Madrid (zona de Arganzuela) con modalidad híbrida de trabajo (un mes se trabajará 2 días de manera presencial y 3 días de teletrabajo a la semana) y otro mes 100% remoto. Y así sucesivamente meses alternos. Desarrollo de Modelado de Datos y Pipelines con Spark y Scala para ingesta y transformación. datos de diferentes fuentes (temas de Kafka, API, HDFS, bases de datos estructuradas, archivos) en Le siguen HDFS, IBM Cloud Storage (generalmente en formato parquet) o bases de datos SQL/NOSQL. Gestionar soluciones de almacenamiento de big data en la plataforma (HDFS, IBM Cloud Storage, estructurado y bases de datos no estructuradas) Transformación y Calidad de Datos: implementar transformación de datos y control de calidad. procesos para garantizar la coherencia y precisión de los datos. Utilizar lenguajes de programación como Scala y SQL. Y bibliotecas como Spark para operaciones de enriquecimiento y transformación de datos. Implementación de canales de CI/CD: configurar canales de CI/CD para automatizar la implementación, unidad pruebas y gestión del desarrollo. Migración de infraestructura: migrar la infraestructura de Hadoop existente a la infraestructura de nube en Kubernetes Engine, Object Storage (almacenamiento en la nube de IBM), Spark como servicio en Scala (para construir las canalizaciones de datos) y Airflow como servicio (para orquestar y programar los datos tuberías) Implementación de esquemas, consultas y vistas en bases de datos SQL/NOSQL como Oracle, Postgres o MongoDB Desarrollar y configurar la programación de canalizaciones de datos con una combinación de scripts de shell. y AirFlow como servicio Pruebas de validación: realizar pruebas unitarias y de validación para garantizar la precisión y la integridad. Documentación: redactar documentación técnica (especificaciones, documentos operativos) para asegurar la capitalización del conocimiento. Se ofrece: Proyecto estable. Contrato indefinido. Modalidad de trabajo: híbrida (un mes se trabajará 2 días de manera presencial y 3 días de teletrabajo a la semana) y otro mes 100% remoto. Y así sucesivamente meses alternos. Horario: Jornada completa de lunes-jueves (en principio de 09-18h) y viernes y verano intensiva Tienen flexibilidad total en cuanto a horario para entrar entre las 8-9h, 1 hora para comer y salir sobre las 17:30. Son 8,5 horas al día para acumular de cara a los días de jornadas intensivas. Salario: 39.000EUR - 41.000EUR / brutos anuales (en función de la experiencia aportada). Se valoran candidaturas por salarios superiores en función de la experiencia). Seguro médico opcional que incluye seguro dental y psicología y retribución flexible a nivel de tickets restaurante. Cursos de formación gratuita.

Desde Sandav Consultores estamos en búsqueda de un Data Engineer para cliente ubicado en Madrid (zona de Arganzuela) con modalidad híbrida de trabajo (un mes se trabajará 2 días de manera presencial y 3 días de teletrabajo a la semana) y otro mes 100% remoto. Y así sucesivamente meses alternos. Desarrollo de Modelado de Datos y Pipelines con Spark y Scala para ingesta y transformación. datos de diferentes fuentes (temas de Kafka, API, HDFS, bases de datos estructuradas, archivos) en Le siguen HDFS, IBM Cloud Storage (generalmente en formato parquet) o bases de datos SQL/NOSQL. Gestionar soluciones de almacenamiento de big data en la plataforma (HDFS, IBM Cloud Storage, estructurado y bases de datos no estructuradas) Transformación y Calidad de Datos: implementar transformación de datos y control de calidad. procesos para garantizar la coherencia y precisión de los datos. Utilizar lenguajes de programación como Scala y SQL. Y bibliotecas como Spark para operaciones de enriquecimiento y transformación de datos. Implementación de canales de CI/CD: configurar canales de CI/CD para automatizar la implementación, unidad pruebas y gestión del desarrollo. Migración de infraestructura: migrar la infraestructura de Hadoop existente a la infraestructura de nube en Kubernetes Engine, Object Storage (almacenamiento en la nube de IBM), Spark como servicio en Scala (para construir las canalizaciones de datos) y Airflow como servicio (para orquestar y programar los datos tuberías) Implementación de esquemas, consultas y vistas en bases de datos SQL/NoSQL como Oracle, Postgres o MongoDB Desarrollar y configurar la programación de canalizaciones de datos con una combinación de scripts de shell. y AirFlow como servicio Pruebas de validación: realizar pruebas unitarias y de validación para garantizar la precisión y la integridad. Documentación: redactar documentación técnica (especificaciones, documentos operativos) para asegurar la capitalización del conocimiento. Requisitos mínimos -Spark en Scala como lenguaje de desarrollo de canalización de datos heredado - Spark como servicio en Scala como plataforma de desarrollo de canales de datos - Experiencia en el diseño y desarrollo de procesos de streaming utilizando Spark Streaming, - Transmisión de estructura Spark y Apache Kafka - Gestión de soluciones heredadas de almacenamiento de big data (HDFS) - Gestión de soluciones de almacenamiento de big data (IBM Cloud Object Storage y formato parquet) - Implementación de esquemas, consultas y vistas de bases de datos SQL/NO SQL (MongoDB, Oracle, Postgres) - Shell scripting y Airflow como solución de programación de canalización de datos - Dremio como herramienta de virtualización de datos - Dataiku como herramienta de preparación de datos como bonificación - Inglés nivel alto (B2-C1). Requisitos deseados Se valora positivamente si se tiene Francés.