Treball Programador BD Scala

Buscamos perfil Big Data con 2 - 3 años de experiencia habiendo trabajado tanto con Scala como con Python/PySpark. Proyecto con cliente que gestiona esta concreta necesidad en el servicio estable para la importante organismo Público Estatal. Stack Técnico / Requisitos Lenguajes de desarrollo: Scala y Python. (2 - 3 años de experiencia con ello) Procesamiento: procesos distribuidos sobre Spark con lenguaje Scala y con lenguaje Python usando la librería PySpark. Es importante conocer Spark y el paradigma map-reduce. También procesado tradicional mediante programas Python. Bases de datos: lenguaje SQL para consultar bases de datos distribuidas (Impala). Coordinación de los procesos mediante scripts bash ejecutados en servidores con sistema operativo Linux. Se utiliza Cloudera, una distribución privada de servicios Big Data. Herramientas del entorno de desarrollo: editor de código Visual Studio Code, repositorio de código fuente SVN, integración continua con Jenkins, calidad de código con Sonar y planificación de procesos con Control-M. Funciones Ingeniería de datos para procesos distribuidos con arquitectura Spark. Ciclo completo: comprensión de los requisitos de negocio, elaboración de especificaciones, análisis y comprensión de datos disponibles para desarrollo de algoritmos y cruces de datos Asimismo, se requiere la realización de pruebas, documentación de todo el proceso, control de versiones de los componentes, peticiones y soporte a subidas entre entornos, y resolución de incidencias asociadas. Se requiere que el producto generado tenga calidad, con tests automáticos, buena documentación etc... Condiciones base: Oficinas del Organismo Público en zona Chamartín. (Madrid) Presencial en la semana 2 días, y 3 de Teletrabajo. 3 meses jornada intensiva (15 Junio - 15 Septiembre) Salario a contemplar: entre 34 y 37.000 EUR brutos / anuales. Proceso de Contratación directa por compañía Cliente del sector Consultoría en el servicio.