ModelOps

ModelOps ( operaciones de modelos u operacionalización de modelos), según la definición de Gartner , "se centra principalmente en la gobernanza y la gestión del ciclo de vida de una amplia gama de modelos operacionalizados de inteligencia artificial (IA) y de decisión , incluidos el aprendizaje automático , los grafos de conocimiento , las reglas, la optimización, los modelos lingüísticos y basados ​​en agentes " en sistemas multiagente . ^{[ 1 ]} "ModelOps se encuentra en el centro de cualquier estrategia de IA empresarial". ^{[ 2 ]} Orquesta los ciclos de vida de todos los modelos en producción en toda la empresa, desde la puesta en producción de un modelo, hasta la evaluación y actualización de la aplicación resultante según un conjunto de reglas de gobernanza, incluidos los indicadores clave de rendimiento (KPI) técnicos y empresariales. Otorga a los expertos del dominio empresarial la capacidad de evaluar los modelos de IA en producción, independientemente de los científicos de datos . ^{[ 3 ]}

Un artículo de Forbes promovió ModelOps: "A medida que las empresas amplían sus iniciativas de IA para convertirse en una verdadera organización de IA empresarial, contar con una capacidad analítica operativa completa coloca a ModelOps en el centro, conectando tanto DataOps como DevOps ". ^{[ 4 ]}

En una encuesta de Gartner de 2018, el 37 % de los encuestados informó haber implementado IA de alguna forma; sin embargo, Gartner señaló que las empresas aún estaban lejos de implementar IA, citando desafíos de implementación. ^{[ 5 ]} Las empresas estaban acumulando modelos no implementados, sin usar y sin actualizar, y los implementaban manualmente, a menudo a nivel de unidad de negocio, lo que aumentaba la exposición al riesgo de toda la empresa. ^{[ 6 ]} La firma de análisis independiente Forrester también abordó este tema en un informe de 2018 sobre proveedores de aprendizaje automático y análisis predictivo : “Los científicos de datos se quejan regularmente de que sus modelos solo se implementan a veces o nunca. Gran parte del problema es el caos organizacional en la comprensión de cómo aplicar y diseñar modelos en aplicaciones. Pero otra gran parte del problema es la tecnología. Los modelos no son como el código de software porque necesitan gestión de modelos”. ^{[ 7 ]}

En diciembre de 2018, Waldemar Hummer y Vinod Muthusamy de IBM Research AI propusieron ModelOps como "un modelo de programación para flujos de trabajo de IA reutilizables, independientes de la plataforma y componibles" en el Día de los Lenguajes de Programación de IBM. ^{[ 8 ]} En su presentación, señalaron la diferencia entre el ciclo de vida del desarrollo de aplicaciones, representado por DevOps , y el ciclo de vida de las aplicaciones de IA. ^{[ 9 ]}

El objetivo del desarrollo de ModelOps era abordar la brecha entre el despliegue y la gobernanza de modelos, asegurando que todos los modelos se ejecutaran en producción con una gobernanza sólida, alineada con los KPI técnicos y de negocio, al tiempo que se gestionaba el riesgo. En su presentación, Hummer y Muthusamy describieron una solución programática para el despliegue por etapas con conciencia de IA y componentes reutilizables que permitirían que las versiones de los modelos coincidieran con las aplicaciones de negocio, e incluirían conceptos de modelos de IA como la monitorización de modelos, la detección de desviaciones y el aprendizaje activo. La solución también abordaría la tensión entre el rendimiento de los modelos y los KPI de negocio, los registros de aplicaciones y modelos, y los proxies de modelos y políticas en evolución. Varias plataformas en la nube formaron parte de la propuesta. En junio de 2019, Hummer, Muthusamy, Thomas Rausch, Parijat Dube y Kaoutar El Maghraoui presentaron un artículo en la Conferencia Internacional IEEE de Ingeniería en la Nube (IC2E) de 2019. ^{[ 10 ]} El documento amplió su presentación de 2018, proponiendo ModelOps como un marco y plataforma basados ​​en la nube para el desarrollo de extremo a extremo y la gestión del ciclo de vida de las aplicaciones de inteligencia artificial (IA). En el resumen, afirmaron que el marco mostraría cómo es posible extender los principios de la gestión del ciclo de vida del software para permitir la automatización, la confianza, la fiabilidad, la trazabilidad, el control de calidad y la reproducibilidad de las canalizaciones de modelos de IA. ^{[ 11 ]} En marzo de 2020, ModelOp, Inc. publicó la primera guía completa de la metodología ModelOps. El objetivo de esta publicación era proporcionar una visión general de las capacidades de ModelOps, así como los requisitos técnicos y organizativos para implementar las prácticas de ModelOps. ^{[ 12 ]}

Un caso de uso típico de ModelOps se encuentra en el sector de servicios financieros, donde se utilizan cientos de modelos de series temporales para cumplir con estrictas normas de sesgo y auditabilidad. En estos casos, la imparcialidad y la robustez del modelo son fundamentales, lo que significa que los modelos deben ser justos y precisos, y deben funcionar de manera confiable. ModelOps automatiza el ciclo de vida de los modelos en producción. Esta automatización incluye el diseño del ciclo de vida del modelo, con sus respectivos KPI y umbrales técnicos, comerciales y de cumplimiento, para gobernar y supervisar el modelo durante su ejecución, detectar sesgos y otras anomalías técnicas y comerciales, y actualizar el modelo según sea necesario sin interrumpir las aplicaciones. ModelOps actúa como el gestor que mantiene todo funcionando correctamente, garantizando el control de riesgos, el cumplimiento y el rendimiento del negocio.

Otro caso de uso es la monitorización de los niveles de glucosa en sangre de un diabético a partir de sus datos en tiempo real. El modelo predictivo de hipoglucemia debe actualizarse constantemente con los datos actuales, monitorizar continuamente los indicadores clave de rendimiento (KPI) y las anomalías, y estar disponible en un entorno distribuido, de modo que la información esté accesible tanto en dispositivos móviles como en sistemas centrales. La orquestación, la gobernanza, el reentrenamiento, la monitorización y la actualización se realizan con ModelOps.

El proceso ModelOps se centra en automatizar la gobernanza, la gestión y la monitorización de los modelos en producción en toda la empresa, lo que permite a los desarrolladores de IA y aplicaciones integrar fácilmente capacidades del ciclo de vida (como detección de sesgos, robustez y fiabilidad, detección de desviaciones, KPI técnicos, comerciales y de cumplimiento, restricciones regulatorias y flujos de aprobación) para poner en producción los modelos de IA como aplicaciones comerciales. El proceso comienza con una representación estándar de los modelos candidatos para la producción que incluye un metamodelo (la especificación del modelo) con todos los componentes y elementos dependientes que intervienen en la construcción del modelo, como los datos, los entornos de hardware y software, los clasificadores y los complementos de código, y, lo que es más importante, los KPI comerciales y de cumplimiento/riesgo.

MLOps (operaciones de aprendizaje automático) es una disciplina que permite a los científicos de datos y a los profesionales de TI colaborar y comunicarse mientras automatizan algoritmos de aprendizaje automático. Amplía y desarrolla los principios de DevOps para respaldar la automatización del desarrollo y la implementación de modelos y aplicaciones de aprendizaje automático. ^{[ 13 ]} En la práctica, MLOps implica modelos de aprendizaje automático (ML) rutinarios. Sin embargo, la variedad y los usos de los modelos han cambiado para incluir modelos de optimización de decisiones, modelos de optimización y modelos transformacionales que se agregan a las aplicaciones. ModelOps es una evolución de MLOps que amplía sus principios para incluir no solo la implementación rutinaria de modelos de aprendizaje automático, sino también el reentrenamiento continuo, la actualización automatizada y el desarrollo e implementación sincronizados de modelos de aprendizaje automático más complejos. ^{[ 14 ]} ModelOps se refiere a la operacionalización de todos los modelos de IA, incluidos los modelos de aprendizaje automático con los que se ocupa MLOps. ^{[ 15 ]}