- Este puesto está abierto únicamente para candidatos ubicados en Colombia o Costa Rica -
Ingeniero de Datos FinOps – Análisis de Costos y Uso de IA
Gorilla Logic está buscando un Ingeniero de Datos FinOps – Análisis de Costos y Uso de IA para ayudar a construir soluciones de datos escalables que brinden visibilidad sobre el uso, consumo y costos de la IA en múltiples plataformas y proveedores.
En este rol, trabajarás en la intersección de la ingeniería de datos, la gestión financiera en la nube y las operaciones de IA, construyendo canales confiables que ingieran datos de uso y facturación de plataformas como GitHub Copilot, Anthropic Claude, Google Gemini, OpenAI, Azure OpenAI y otras tecnologías emergentes de IA.
Serás responsable de transformar datos de uso y costos dispares en un modelo de datos unificado en Google BigQuery y de habilitar análisis confiables y de autoservicio a través de Power BI. Colaborarás estrechamente con FinOps, Finanzas, Ingeniería y otras partes interesadas para convertir datos complejos de uso en información accionable que respalde la asignación de costos, la previsión, la optimización y la toma de decisiones informada.
Responsabilidades
- Diseñar, construir y mantener canales de datos escalables que ingieran datos de uso, facturación y consumo de IA de múltiples proveedores y plataformas.
- Desarrollar integraciones de API y procesos de ingestión de datos programados utilizando Python, Cloud Functions, Cloud Composer/Airflow o tecnologías similares.
- Construir procesos de ingestión confiables con manejo adecuado de errores, mecanismos de reintento, monitoreo y validación de la calidad de los datos.
- Monitorear las API de los proveedores y los esquemas de datos, y adaptar las integraciones a medida que los proveedores evolucionan.
- Diseñar y mantener un modelo de datos unificado en BigQuery que normalice los datos de uso y facturación entre proveedores de IA, incluyendo modelos de precios basados en tokens, en consumo y en licencias por usuario.
- Construir modelos de datos dimensionales y analíticos que respalden la asignación de costos y los reportes entre equipos, unidades de negocio, proyectos, proveedores, modelos y centros de costos.
- Desarrollar flujos de transformación utilizando SQL y herramientas como dbt o Dataform para depurar, deduplicar, normalizar y enriquecer los datos.
- Integrar los datos de uso y costos con jerarquías organizacionales, centros de costos y estructuras financieras para respaldar los reportes de chargeback y showback.
- Optimizar los conjuntos de datos de BigQuery mediante particionamiento, clustering, procesamiento incremental y optimización de consultas.
- Implementar instantáneas históricas y dimensiones de cambio lento para respaldar análisis precisos de tendencias y de punto en el tiempo.
- Aplicar buenas prácticas de gobernanza de datos, seguridad, control de acceso, auditabilidad y manejo de información personal identificable (PII).
- Construir y mantener tableros e soluciones de reportes en Power BI que brinden visibilidad sobre el gasto en IA, las tendencias de consumo, la asignación de costos, los presupuestos, las previsiones y la utilización.
- Optimizar la conectividad entre BigQuery y Power BI, así como los modelos de datos, para equilibrar rendimiento, escalabilidad, costo y actualidad de los datos.
- Desarrollar tableros listos para ejecutivos, permitiendo al mismo tiempo análisis detallados de exploración para Ingeniería, Finanzas, FinOps y otras partes interesadas.
- Implementar seguridad a nivel de fila y controles de acceso adecuados dentro de Power BI.
- Colaborar con FinOps y con las partes interesadas del negocio para definir métricas de costo y uso, KPI y lógica de detección de anomalías significativas.
- Apoyar las iniciativas de presupuestación, previsión, asignación de costos y optimización del gasto en IA con datos precisos y confiables.
- Mantener documentación clara sobre el linaje de datos, la arquitectura de los canales, la lógica de transformación y las definiciones de reportes.
- Identificar oportunidades para automatizar procesos manuales de reportes y mejorar continuamente la confiabilidad, escalabilidad y eficiencia de costos de la plataforma de datos.
- Colaborar con equipos multifuncionales en un entorno Ágil, contribuyendo a decisiones técnicas, planificación y mejora continua.
Requisitos Técnicos
- Más de 3 años de experiencia profesional en Ingeniería de Datos, Ingeniería Analítica, Ingeniería de Software o un rol relacionado.
- Dominio sólido de SQL y experiencia diseñando y manteniendo modelos de datos analíticos.
- Experiencia práctica con Google BigQuery o almacenes de datos en la nube comparables, como Snowflake o Amazon Redshift.
- Sólida experiencia construyendo canales de datos con Python.
- Experiencia con tecnologías de orquestación de flujos de trabajo como Apache Airflow, Google Cloud Composer, Dagster o herramientas similares.
- Experiencia práctica integrando REST APIs, incluyendo autenticación, OAuth, paginación, limitación de tasa (rate limiting) y manejo de errores.
- Experiencia diseñando procesos confiables de ingestión, transformación, validación y monitoreo de datos.
- Experiencia práctica con Power BI, incluyendo modelado semántico y de datos, DAX, desarrollo de tableros y optimización de reportes.
- Conocimiento de las estructuras de datos de facturación y costos en la nube de plataformas como GCP, AWS o Azure.
- Experiencia trabajando con Git y flujos de desarrollo con control de versiones.
- Experiencia implementando prácticas de CI/CD para canales de datos y código de transformación.
- Conocimiento de modelado dimensional, procesamiento incremental, gestión de datos históricos y buenas prácticas de calidad de datos.
- Sólidas habilidades para resolver problemas y capacidad para trabajar con requisitos de datos complejos o ambiguos.
- Sólidas habilidades de comunicación y colaboración, con capacidad para trabajar eficazmente con partes interesadas tanto técnicas como de negocio.
Deseable
- Conocimiento de los principios, prácticas y marcos de FinOps; la certificación de FinOps Foundation es un plus.
- Experiencia integrando APIs de uso o facturación de IA/LLM, como OpenAI, Anthropic Claude, Google Vertex AI/Gemini, Azure OpenAI o GitHub Copilot.
- Experiencia con dbt o Dataform para transformación, pruebas y documentación de datos.
- Experiencia con modelos de asignación de costos empresariales, chargeback o showback.
- Experiencia con Terraform u otras tecnologías de Infraestructura como Código (IaC).
- Familiaridad con prácticas de gobernanza, seguridad y cumplimiento de datos en entornos empresariales.
- Experiencia construyendo soluciones de análisis de costos, detección de anomalías, previsión u optimización en la nube.
Publicado originalmente en Himalayas
