Diseñar, desarrollar y desplegar soluciones de datos de calidad, óptimos en costos (tiempo de procesamiento, uso del clúster y servicios Azure), seguras y escalables (batch y/o realtime) de acuerdo con la arquitectura unificada de datos (Cloud/On Premise) y estrategias de implementación (To be y transitorias).
Desarrollar soluciones utilizando las buenas prácticas, frameworks, componentes y herramientas estandarizadas por el COE de Data.
Dirigir el análisis de la causa raíz de problemas (RCA) y brindar soluciones.
Realizar el congelamiento y pase de producción de las soluciones de datos siendo participe del flujo de despliegue, desarrollando los entregables del proceso con calidad, manteniendo saludable los indicadores de rechazos y reversiones.
Desarrollar los entregables y documentación, definidos en el proceso de Data, correspondiente a la solución de datos.
Plantear estrategias de implementación eficientes y eficaces de las soluciones de acuerdo con la arquitectura unificada de datos.
Implementar automatizaciones y componentes reutilizables que permita estandarizar las prácticas de desarrollo y construcción de soluciones.
Analizar y optimizar procesos en producción que presenten un deterioro en su rendimiento y uso inadecuado de los recursos computacionales con el fin de mantener la estabilidad de la plataforma, y de esta manera recoger las lecciones aprendidas y compartir buenas prácticas al COE Data.
Co-crear lineamientos, buenas prácticas, estándares de desarrollo y asesoría técnica de las soluciones.
Demostrar liderazgo técnico y resolver temas complejos de ingeniería de datos, referidos a servicios en nube, la programación de las soluciones y procesamiento de datos, en el Lakehouse Cloud.
Realizar presentaciones sobre estado de avance del proyecto a nivel de jefaturas y a nivel gerencial.
Contribuir activamente a través de la aplicación de conocimientos y experiencias en la comunidad del COE de Data.
Requisitos
Experiencia de 5 a más años en implementación de soluciones en Nube (indistintamente de la nube) con las tecnologías requeridas, habiendo realizado las siguientes actividades:
Análisis y desarrollo de flujos de Ingesta y transformación de datos en Lake House mediante los servicios de Cloud.
Análisis y Desarrollo utilizando procesamiento distribuido en Spark usando PySpark/Spark en batch (mandatorio) y Realtime (deseable)
Tecnologías; Python, SQL, Oracle
Optimización de los procesos a desarrollar o existentes con un enfoque de reducción de costos (tiempo de procesamiento, uso del clúster y servicios Azure) en el consumo de los servicios en nube.
Análisis y schedulamiento de los procesos de acuerdo a las criterios definidas por los usuarios.
Despliegue soluciones en producción haciendo uso de herramientas de integración y despliegue continuo (DevSecOps).
Desarrollo de soluciones transversales para la mejora continua del framework de desarrollo y despliegue de soluciones.
Desarrollo de buenas practicas, frameworks y estándares de desarrollo en plataformas Cloud.
Consultoría y asesoría técnica en la estrategia de implementación de soluciones en plataformas Cloud.
Contar con las siguientes certificaciones de Azure (deseable) y/o certificaciones equivalentes en otras nubes:
Databricks: Databricks Certified Associate Developer for Apache Spark, Databricks Certified Data Engineer Associate (deseable)
Azure: Azure Data Engineer Associate y Data Engineer Professional(deseable)
Metodología ágil (en proyectos).
Experiencia de 5 a más años trabajando en al menos 3 de los siguientes Proyectos en Cloud:
Analizando y procesando grandes volúmenes de datos
Construyendo Pipelines de datos, ETL , ELT
Desplegando soluciones escalables en producción, de preferencia en entidades bancarias
Migración de procesos hacia plataformas Cloud (mandatorio)
Optimización de procesos utilizando procesamiento distribuido
