Treball Data Analyst SQL en Espanya

Buscamos perfil Big Data con 2 - 3 años de experiencia habiendo trabajado tanto con Scala como con Python/PySpark. Proyecto con cliente que gestiona esta concreta necesidad en el servicio estable para la importante organismo Público Estatal. Stack Técnico / Requisitos Lenguajes de desarrollo: Scala y Python. (2 - 3 años de experiencia con ello) Procesamiento: procesos distribuidos sobre Spark con lenguaje Scala y con lenguaje Python usando la librería PySpark. Es importante conocer Spark y el paradigma map-reduce. También procesado tradicional mediante programas Python. Bases de datos: lenguaje SQL para consultar bases de datos distribuidas (Impala). Coordinación de los procesos mediante scripts bash ejecutados en servidores con sistema operativo Linux. Se utiliza Cloudera, una distribución privada de servicios Big Data. Herramientas del entorno de desarrollo: editor de código Visual Studio Code, repositorio de código fuente SVN, integración continua con Jenkins, calidad de código con Sonar y planificación de procesos con Control-M. Funciones Ingeniería de datos para procesos distribuidos con arquitectura Spark. Ciclo completo: comprensión de los requisitos de negocio, elaboración de especificaciones, análisis y comprensión de datos disponibles para desarrollo de algoritmos y cruces de datos Asimismo, se requiere la realización de pruebas, documentación de todo el proceso, control de versiones de los componentes, peticiones y soporte a subidas entre entornos, y resolución de incidencias asociadas. Se requiere que el producto generado tenga calidad, con tests automáticos, buena documentación etc... Condiciones base: Oficinas del Organismo Público en zona Chamartín. (Madrid) Presencial en la semana 2 días, y 3 de Teletrabajo. 3 meses jornada intensiva (15 Junio - 15 Septiembre) Salario a contemplar: entre 34 y 37.000 EUR brutos / anuales. Proceso de Contratación directa por compañía Cliente del sector Consultoría en el servicio.

Oferta de Empleo: Ingeniero/a de Datos Senior Horario: 09:00 a 18:00 Requisitos Mínimos: Experiencia avanzada en Databricks Conocimientos sólidos en Azure Perfil senior con amplia experiencia en proyectos de datos Funciones Principales: Diseño, implementación y optimización de soluciones de datos en la nube, asegurando un procesamiento eficiente y una administración efectiva de grandes volúmenes de datos. Configuración de pipelines de datos: Utilización de herramientas como Azure Data Factory o Azure Databricks para realizar procesos ETL (extracción, transformación y carga de datos). Procesamiento de datos en tiempo real: Implementación de flujos de datos mediante Apache Spark Streaming y Event Hubs. Integración de datos desde múltiples fuentes: Conexión a bases de datos SQL, NoSQL, archivos planos en Azure Data Lake Storage (ADLS), APIs y otros servicios. Automatización de tareas: Desarrollo de procesos para orquestar workflows de datos utilizando herramientas del ecosistema Azure. El rol se enfoca en la ingeniería y optimización de pipelines de datos, facilitando la transformación de grandes volúmenes de datos y asegurando su disponibilidad para análisis avanzado. Todo esto en un entorno seguro, escalable y orientado a la excelencia operativa. Detalles de la posición: Oportunidad para trabajar en una empresa de tecnología multinacional, dando servicio al sector seguros o sector multicliente. Modalidad 100% remota. Contratación indefinida, con proyección de desarrollo profesional en proyectos innovadores. ¿Te interesa ser parte de este proyecto? ¡Postúlate y únete a nuestro equipo!