Ingeniero DevOps (AWS, Spark, Scala) (Madrid - Remoto)

Madrid, Un altre

Desde Sandav Consultores estamos en búsqueda de un Data Engineer para cliente ubicado en Madrid (zona de Arganzuela) con modalidad híbrida de trabajo (un mes se trabajará 2 días de manera presencial y 3 días de teletrabajo a la semana) y otro mes 100% remoto. Y así sucesivamente meses alternos. Desarrollo de Modelado de Datos y Pipelines con Spark y Scala para ingesta y transformación. datos de diferentes fuentes (temas de Kafka, API, HDFS, bases de datos estructuradas, archivos) en Le siguen HDFS, IBM Cloud Storage (generalmente en formato parquet) o bases de datos SQL/NOSQL. Gestionar soluciones de almacenamiento de big data en la plataforma (HDFS, IBM Cloud Storage, estructurado y bases de datos no estructuradas) Transformación y Calidad de Datos: implementar transformación de datos y control de calidad. procesos para garantizar la coherencia y precisión de los datos. Utilizar lenguajes de programación como Scala y SQL. Y bibliotecas como Spark para operaciones de enriquecimiento y transformación de datos. Implementación de canales de CI/CD: configurar canales de CI/CD para automatizar la implementación, unidad pruebas y gestión del desarrollo. Migración de infraestructura: migrar la infraestructura de Hadoop existente a la infraestructura de nube en Kubernetes Engine, Object Storage (almacenamiento en la nube de IBM), Spark como servicio en Scala (para construir las canalizaciones de datos) y Airflow como servicio (para orquestar y programar los datos tuberías) Implementación de esquemas, consultas y vistas en bases de datos SQL/NoSQL como Oracle, Postgres o MongoDB Desarrollar y configurar la programación de canalizaciones de datos con una combinación de scripts de shell. y AirFlow como servicio Pruebas de validación: realizar pruebas unitarias y de validación para garantizar la precisión y la integridad. Documentación: redactar documentación técnica (especificaciones, documentos operativos) para asegurar la capitalización del conocimiento. Requisitos mínimos -Spark en Scala como lenguaje de desarrollo de canalización de datos heredado - Spark como servicio en Scala como plataforma de desarrollo de canales de datos - Experiencia en el diseño y desarrollo de procesos de streaming utilizando Spark Streaming, - Transmisión de estructura Spark y Apache Kafka - Gestión de soluciones heredadas de almacenamiento de big data (HDFS) - Gestión de soluciones de almacenamiento de big data (IBM Cloud Object Storage y formato parquet) - Implementación de esquemas, consultas y vistas de bases de datos SQL/NO SQL (MongoDB, Oracle, Postgres) - Shell scripting y Airflow como solución de programación de canalización de datos - Dremio como herramienta de virtualización de datos - Dataiku como herramienta de preparación de datos como bonificación - Inglés nivel alto (B2-C1). Requisitos deseados Se valora positivamente si se tiene Francés.

Madrid, Un altre

Desde Sandav Consultores estamos en búsqueda de un Data Engineer para cliente ubicado en Madrid (zona de Arganzuela) con modalidad híbrida de trabajo (un mes se trabajará 2 días de manera presencial y 3 días de teletrabajo a la semana) y otro mes 100% remoto. Y así sucesivamente meses alternos. Desarrollo de Modelado de Datos y Pipelines con Spark y Scala para ingesta y transformación. datos de diferentes fuentes (temas de Kafka, API, HDFS, bases de datos estructuradas, archivos) en Le siguen HDFS, IBM Cloud Storage (generalmente en formato parquet) o bases de datos SQL/NOSQL. Gestionar soluciones de almacenamiento de big data en la plataforma (HDFS, IBM Cloud Storage, estructurado y bases de datos no estructuradas) Transformación y Calidad de Datos: implementar transformación de datos y control de calidad. procesos para garantizar la coherencia y precisión de los datos. Utilizar lenguajes de programación como Scala y SQL. Y bibliotecas como Spark para operaciones de enriquecimiento y transformación de datos. Implementación de canales de CI/CD: configurar canales de CI/CD para automatizar la implementación, unidad pruebas y gestión del desarrollo. Migración de infraestructura: migrar la infraestructura de Hadoop existente a la infraestructura de nube en Kubernetes Engine, Object Storage (almacenamiento en la nube de IBM), Spark como servicio en Scala (para construir las canalizaciones de datos) y Airflow como servicio (para orquestar y programar los datos tuberías) Implementación de esquemas, consultas y vistas en bases de datos SQL/NOSQL como Oracle, Postgres o MongoDB Desarrollar y configurar la programación de canalizaciones de datos con una combinación de scripts de shell. y AirFlow como servicio Pruebas de validación: realizar pruebas unitarias y de validación para garantizar la precisión y la integridad. Documentación: redactar documentación técnica (especificaciones, documentos operativos) para asegurar la capitalización del conocimiento. Se ofrece: Proyecto estable. Contrato indefinido. Modalidad de trabajo: híbrida (un mes se trabajará 2 días de manera presencial y 3 días de teletrabajo a la semana) y otro mes 100% remoto. Y así sucesivamente meses alternos. Horario: Jornada completa de lunes-jueves (en principio de 09-18h) y viernes y verano intensiva Tienen flexibilidad total en cuanto a horario para entrar entre las 8-9h, 1 hora para comer y salir sobre las 17:30. Son 8,5 horas al día para acumular de cara a los días de jornadas intensivas. Salario: 39.000EUR - 41.000EUR / brutos anuales (en función de la experiencia aportada). Se valoran candidaturas por salarios superiores en función de la experiencia). Seguro médico opcional que incluye seguro dental y psicología y retribución flexible a nivel de tickets restaurante. Cursos de formación gratuita.

Madrid

Porque trabajar en Sopra Steria, también es sentir Sopra Steria Somos un reconocido líder europeo en consultoría, servicios digitales y desarrollo de software, con cerca de 56.000 empleados en casi 30 países y más de 4.000 en España. Nos enfocamos en las personas, en su formación y desarrollo profesional, lo que nos impulsa a crecer y mejorar constantemente. Tenemos pasión por lo digital y al igual que tú, buscamos la mejor de las aventuras. Queremos que tu día a día se convierta en la mejor de tus inspiraciones. Que aprendas, aportes, te diviertas, crezcas y que, sobre todo, disfrutes al máximo. Si quieres formar parte de un equipo "Great Place to Work", ¡Sigue leyendo! ¿Qué buscamos? Experiencia en proyectos de arquitecturas de Datos e IA Experiencia y conocimientos de soluciones tecnológicas en torno a los nuevos paradigmas de soluciones de Datos, IA/ML, gobierno del datos y plataformas cloud (data fabric, data mesh, virtualización de datos, data sharing, lakehouse, MLOps,...) Experiencia y conocimiento de los principales fabricantes de productos de Data e IA (Databricks, SnowFlake, AWS, Azure, GCP,...) Experiencia con tecnologías Big Data (Spark, Hive, Kafka, Flink,...) Experiencia con bases de datos SQL y NoSQL (MongoDB, HBase, ElasticSearch, Cassandra,...) Experiencia con herramientas Agile y DevOps (Jira, Jenkins, Git, Sonar,...) Capacidad de innovación, diseño de soluciones y liderazgo tecnológico en el ámbito de Data e IA. Capacidad de interlocución con clientes. ¿Qué tenemos para ti? Contrato indefinido y jornada completa 23 días de vacaciones Formación continua: competencias técnicas, transversales y de idiomas. Contamos con acceso a certificaciones, formaciones de los principales Partners Tecnológicos, plataformas online y ¡mucho más! Seguro de vida y de accidentes Posibilidad de acogerte a nuestra retribución flexible (seguro médico, cheques guarderías, transporte, comida y formación) Acceso a Privilege Club, donde encontrarás descuentos interesantes en las principales marcas Onboarding personalizado y detallado. Te acompañamos en todo momento para que te sientas #soprano desde el primer momento. Oficina con espacios reservados al ocio. ¡Trabajo y diversión unido! Compañerismo y buen ambiente, el poder de la unión lo tenemos presente. Y lo más importante...Tienes la posibilidad de desarrollar tu carrera profesional con nosotros: Crearemos juntos un plan de carrera personalizado. Te formarás, marcaremos objetivos y llevaremos a cabo un seguimiento para asegurarnos de que lo conseguimos juntos. Escuchamos tus prioridades y luchamos por ellas. ¡Aquí tu voz importa! ¡Únete a nosotros y sé parte de algo más!

Madrid

Description: Desde Grupo Digital, buscamos un/a Senior DevSecOps Engineer para trabajar en un proyecto de uno de nuestros clientes. Descripción del Puesto: Tendrá un rol clave en la migración de la infraestructura actual del cliente, en Hadoop, a una nueva plataforma en la nube (AWS). Será responsable de liderar el equipo CCM BDC, mejorar los servicios existentes, solucionar problemas técnicos, y gestionar el proceso de migración a la nube. También será parte integral en la mentoría y crecimiento de los miembros más jóvenes del equipo. Funciones del puesto: Liderar el equipo CCM BDC en la entrega de mejoras en los servicios actuales y en la migración hacia AWS. Cumplir con los plazos establecidos, ajustándose al presupuesto y asegurando la calidad de las entregas. Supervisar soluciones que proporcionen comunicaciones complejas de los clientes. Mentorar y guiar a miembros junior del equipo para mejorar sus habilidades técnicas. Brindar soporte a producción con disponibilidad 24/7 cuando sea necesario. Contribuir al crecimiento continuo del equipo a través del aprendizaje y la enseñanza. Conocimientos Imprescindibles: Experiencia mínima de 5 años en puestos relacionados. Experiencia demostrada trabajando con Scala como lenguaje de programación full-stack DevOps. Conocimiento y experiencia en Control-M, Hadoop/Spark, Kafka, Charon streaming, Postman, Java, Hue - SQL querying. Experiencia en despliegue y desarrollo DevOps. Experiencia en AWS (Amazon Web Services). Capacidad para entregar soluciones dentro de los plazos y presupuesto establecidos. Experiencia en la implementación de soluciones técnicas que mejoren las comunicaciones digitales. Habilidad para mentorar y guiar a otros técnicos. Autonomía y capacidad para trabajar de manera independiente. Experiencia trabajando en un entorno ágil. Amplio conocimiento de las prácticas ágiles de desarrollo de software (pruebas unitarias, desarrollo dirigido por pruebas, CI/CD). Nivel de inglés C1 (alto), tanto escrito como verbal. Este es un requisito indispensable, ya que el equipo de trabajo es angloparlante. Fuerte capacidad de comunicación, tanto escrita como verbal, en inglés. Condiciones Laborales: Modalidad de trabajo: 100% Teletrabajo Horario: Lunes a Viernes: de 9:00h a 18:00h. Horario de verano: 8:00h a 15:00h. Grupo Digital Somos un grupo de empresas tecnológicas, formado actualmente por unos 200 profesionales, en distintas áreas: desarrollo, sistemas, ingeniería automática, consultoría... Si deseas iniciar tu carrera en el ámbito del desarrollo web y formar parte de un equipo dinámico, ¡esperamos tu candidatura!