Trabajo Programador Spark

Description: En Grupo Digital queremos incorporar un perfil Developer SR Python / Spark para uno de nuestros grandes clientes. Requisitos: Al menos 3 años de experiencia como Desarrollador/a Python / Spark. Programación: Python, Spark, test unitarios CI/CD integración y despliegue continuo Bases de Datos: SQL, NoSQL. Cloud Computing: Azure Databricks Herramientas de visualización: Tableau, Power BI o Matplotlib Estadística y Matemáticas: Conocimientos profundos en estadística inferencial, probabilidad y álgebra lineal. Machine Learning: Experiencia en algoritmos de aprendizaje supervisado y no supervisado, como regresión, clasificación, clustering y reducción de dimensionalidad. Nivel alto de Inglés ¿Qué es lo que le ofrecemos? Salario competitivo en función de la experiencia Contrato indefinido. Proyectos innovadores y oportunidades de crecimiento profesional. Ubicación: Madrid. Modalidad: Remoto. Salario en función de experiencia: 45.000EUR - 55.000 EUR brutos anuales. Grupo Digital Somos un equipo de más de 100 profesionales tecnológicos, en el que encontraras proyectos estables, en los principales clientes nacionales e internacionales, desarrollando soluciones de Inteligencia Artificial, Cloud, Ciberseguridad, etc.... Nos comprometemos estar a tu lado en todas las fases del proyecto, para asegurarnos que creces profesionalmente con nosotros, y que tu aportación cuenta. ¿Quieres estar al día con las últimas tecnologías y buscas nuevos desafíos? ¡Envíanos tu CV y nos ponemos en contacto contigo! #DataScience #Python #BigData

We are looking for a skilled Data Analyst with Data Modelling experience who will become a key member of a Data team at client, responsible for securing the data requirements in relation to the introduction of a new generation Financial Crime Prevention Investigation tool. In your role you will be co-designing the client Financial Crime Prevention Investigation Canonical Data Model (CDM) securing the robustness and scalability of the data model whilst considering its associated data integrations, supporting business requirements adhering to data, security, and governance standards. The introduction of the canonical data model will allow for improved stability, interoperability, and sustainability with regards to the usage of Financial Crime Prevention Case Investigations data at client ultimately resulting in improved efficiency and quality in its investigation processes. Key Responsibilities Co-design the CDM to be fit for purpose Analyze and document Data Mappings and Transformation rules. Understand and apply business data standards, policies and processes. Recognize and assess business requesters' requirements and objectives incorporating into the design of the CDM. Collaborating closely with the Business, Technology and Architecture owners. Qualifications: Senior Data Analyst (5-8 years) Fluent English (spoken and written). Experience of designing Canonical Data, Master or Reference Data Data modelling Advanced SQL Advanced VBA Experience with Hadoop/Cloudera & PostgreSQL DB Spark/Scala is a plus Experience working with IBM InfoSphere Data Architect is a plus."

Description: Desde Grupo Digital, buscamos un/a Big Data Developer para incorporarte a nuestra plantilla, trabajando con uno de nuestros grandes clientes del sector financiero. Descripción del Puesto Buscamos un/a Big Data Developer con amplia experiencia en el diseño, desarrollo y optimización de sistemas de procesamiento de datos a gran escala. Esta posición requiere habilidades técnicas avanzadas, capacidad de resolución de problemas y un alto nivel de inglés para colaborar con equipos internacionales. Responsabilidades Diseñar, desarrollar y optimizar pipelines de datos a gran escala para procesar datos estructurados y no estructurados. Crear y mantener flujos ETL para la extracción, transformación y carga de datos desde diversas fuentes. Implementar sistemas de procesamiento de datos usando tecnologías como Hadoop, Spark y Hive. Escribir código eficiente, escalable y mantenible en Java, Python o Scala. Colaborar con científicos y analistas de datos para proporcionar insights y mejorar flujos de trabajo. Diseñar sistemas de procesamiento en tiempo real y por lotes para la ingesta y el análisis de datos. Garantizar la calidad, seguridad e integridad de los datos en todos los sistemas. Monitorizar, solucionar problemas y mejorar el rendimiento de los sistemas de procesamiento de datos. Participar en discusiones de arquitectura y diseño, aportando ideas innovadoras. Crear y mantener workflows de CI/CD para la implementación de infraestructura y software mediante GitHub Workflows. Requisitos Imprescindibles Experiencia mínima de 5 años como Big Data Developer. Dominio de frameworks de Big Data como Hadoop, Spark y Hive. Programación avanzada en Java, Python o Scala. Experiencia en SQL complejo. Conocimientos sólidos de principios y algoritmos de computación distribuida. Familiaridad con plataformas cloud (AWS, Azure, GCP) y soluciones de Big Data en la nube (e.g., AWS EMR, GCP Dataproc). Excelentes habilidades analíticas, de resolución de problemas y optimización de rendimiento. Nivel de inglés C1 (indispensable para comunicación oral y escrita con equipos internacionales). ¿Qué ofrecemos? Salario competitivo, en función de la experiencia . Contrato indefinido. 22 días laborables de vacaciones/año. Plan de compensación flexible: Seguro médico, cheques guardería, cheques transporte. Formación en Tecnología y Soft Skills. Tipo de contrato: Indefinido Salario: Hasta 47.000 EUR (según experiencia) Ubicación: 100% Remoto Grupo Digital Somos un ecosistema de más de 100 profesionales tecnológicos, en el que encontraras proyectos estables, en los principales clientes nacionales e internacionales, desarrollando soluciones de Inteligencia Artificial, Cloud, Ciberseguridad, etc... Nos comprometemos a estar a tu lado en todas las fases del proyecto, para asegurarnos que creces profesionalmente con nosotros, y que tu aportación cuenta. **Si tu objetivo es no quedarte estancado, estar al día de las últimas tecnologías y estás buscando nuevos retos profesionales, envíanos tu CV o facilítanos tus datos para hablar contigo.***

Buscamos perfil Big Data con 2 - 3 años de experiencia habiendo trabajado tanto con Scala como con Python/PySpark. Proyecto con cliente que gestiona esta concreta necesidad en el servicio estable para la importante organismo Público Estatal. Stack Técnico / Requisitos Lenguajes de desarrollo: Scala y Python. (2 - 3 años de experiencia con ello) Procesamiento: procesos distribuidos sobre Spark con lenguaje Scala y con lenguaje Python usando la librería PySpark. Es importante conocer Spark y el paradigma map-reduce. También procesado tradicional mediante programas Python. Bases de datos: lenguaje SQL para consultar bases de datos distribuidas (Impala). Coordinación de los procesos mediante scripts bash ejecutados en servidores con sistema operativo Linux. Se utiliza Cloudera, una distribución privada de servicios Big Data. Herramientas del entorno de desarrollo: editor de código Visual Studio Code, repositorio de código fuente SVN, integración continua con Jenkins, calidad de código con Sonar y planificación de procesos con Control-M. Funciones Ingeniería de datos para procesos distribuidos con arquitectura Spark. Ciclo completo: comprensión de los requisitos de negocio, elaboración de especificaciones, análisis y comprensión de datos disponibles para desarrollo de algoritmos y cruces de datos Asimismo, se requiere la realización de pruebas, documentación de todo el proceso, control de versiones de los componentes, peticiones y soporte a subidas entre entornos, y resolución de incidencias asociadas. Se requiere que el producto generado tenga calidad, con tests automáticos, buena documentación etc... Condiciones base: Oficinas del Organismo Público en zona Chamartín. (Madrid) Presencial en la semana 2 días, y 3 de Teletrabajo. 3 meses jornada intensiva (15 Junio - 15 Septiembre) Salario a contemplar: entre 34 y 37.000 EUR brutos / anuales. Proceso de Contratación directa por compañía Cliente del sector Consultoría en el servicio.