Seleccionamos Data Engineer para participar en proyecto de fabricante de software Big Data líder en su sector.
Funciones:
- Diseñar, desarrollar y depurar procesos y scripts en SCALA & SPARK para la ingesta de fuentes de datos de formaautomatizada y para realizar los cálculos requeridos.
- Conocimientos de las siguientes herramientas: GitLab, JIRA, Nexus, Jenkins, Confluence,
- Diseña y desarrolla código, scripts, flujos de datos, e instalación de software.
- Identifica e ingesta nuevas fuentes de datos en la plataforma de Big Data
- Integración nuevas fuentes de información
- Generación de documentación asociada a los interfaces desarrollados
- Soporte en posibles procesos de tratamiento y réplica de datos,
- Debe tener conocimientos técnicos específicos y experiencia práctica de al menos un año trabajando en un entorno
- Hadoop (Cloudera), incluyendo los sistemas operativos, file systems y las herramientas correspondientes.
- Generar Documentación técnica asociada,
- Elaboración de informes de seguimiento requeridos
Requisitos:
- Al menos 1 año de experiencia en Diseño y Desarrollo de procesos en entornos Big Data en particular con SCALA y SPARK (Cloudera).
- Experiencia en entornos Hadoop , Spark, SCALA, Kafka , Hive, Java, Impala, Flume y otras herramientas delecosistema Cloudera.
- Conocimientos en servicios de administración y operación
- Buen conocimiento de Unix y habilidades SQL y scripting y programación.
- Nivel medio de inglés para interactuar con otros equipos de manera verbal y escrita
- Deseables:
- Conocimientos en herramientas de integración tecnológicas como herramientas de automatización, control deprocesos, despliegue y planificación (Git , Jenkins, Nexus, JIRA, Confluence ).
- Conocimientos de Arquitectura de sistemas
- Conocimientos en bases de datos tanto NoSql como relacionales (Oracle).
- Conocimiento de herramientas de Modelado de Datos (ERWIN o similar)
- Conocimiento de herramientas ETL y BI
Se ofrece:
- Contrato modalidad freelance
- Tarifa: 230-280 eur/jornada en función de experiencia aportada
- Proyecto a largo plazo
- Recurrencia en proyectos
- Grandes posibilidades de desarrollo profesional
- Lugar de trabajo: Madrid.
