Un nuevo enfoque de la observabilidad de la IA empresarial

Por qué la visibilidad operativa debe ir más allá de la infraestructura

A medida que la inteligencia artificial se integra en los procesos empresariales cotidianos, las organizaciones van más allá de la simple cuestión de si una aplicación de IA está disponible. También necesitan comprender cuál es su rendimiento, cómo se está utilizando y si sigue cumpliendo con las expectativas de la empresa.

Esto plantea un reto operativo diferente al de las aplicaciones tradicionales. Un servicio de IA puede estar técnicamente disponible, responder en un tiempo aceptable y no presentar ningún problema evidente de infraestructura, mientras que la calidad o la eficiencia del servicio varían. Las respuestas pueden volverse menos útiles, un flujo de trabajo puede empezar a realizar llamadas innecesarias a herramientas externas o una aplicación puede consumir muchos más recursos informáticos de lo esperado.

La observabilidad tradicional de la infraestructura y las aplicaciones sigue siendo esencial. La IA no sustituye la necesidad de comprender el estado de las redes, las plataformas en la nube, las aplicaciones y la infraestructura subyacente. Amplía el alcance de la observabilidad al plantear cuestiones adicionales sobre el rendimiento y el funcionamiento del propio servicio de IA.

A medida que la IA empresarial cobra mayor importancia para las operaciones comerciales, las organizaciones necesitan visibilidad, tanto de la infraestructura que sustenta la IA como del rendimiento real de los servicios de IA.

La IA introduce nuevas señales operativas

La monitorización tradicional proporciona indicadores habituales sobre el estado de las aplicaciones y la infraestructura. La disponibilidad, los tiempos de respuesta, las tasas de error, el rendimiento de la red y la utilización de los recursos pueden ayudar a los equipos de operaciones a determinar si se puede acceder a un servicio y si la tecnología que lo sustenta funciona con normalidad.

Las aplicaciones de IA introducen variables adicionales. Sus resultados pueden depender del modelo, la indicación y el contexto, la información recuperada de los sistemas de la empresa, así como de las herramientas o servicios externos que intervienen en la realización de una tarea.

Para las organizaciones que utilizan la IA a gran escala, esto significa que es necesario tener en cuenta el rendimiento técnico junto con la eficacia con la que el servicio de IA desempeña la función prevista.

Un asistente de IA empresarial, por ejemplo, podría seguir estando disponible y responder con rapidez, aunque poco a poco fuera generando respuestas que los empleados consideraran menos útiles. Un flujo de trabajo respaldado por IA podría completarse con éxito, pero realizando más llamadas al modelo o a la API de las necesarias. Un agente de IA podría alcanzar el resultado previsto, pero tomando una ruta diferente o más compleja para llegar a él.

Estas situaciones no se manifestarían necesariamente como fallos convencionales de la infraestructura, pero aún así pueden afectar al rendimiento, al coste y a la fiabilidad de un proceso empresarial basado en IA.

Reflexión: Si la observabilidad muestra que un servicio de IA ya no funciona como se esperaba, ¿sabes qué versión ha cambiado, quién es el responsable y cuál debería ser la solución alternativa?

Relación entre el estado de la infraestructura y el rendimiento de la IA

Por lo tanto, la observabilidad de la IA debe reunir diferentes tipos de información.

La telemetría de la infraestructura sigue formando parte del panorama. Las organizaciones siguen necesitando visibilidad sobre los recursos en la nube, las redes, las aplicaciones, las API y el resto de la tecnología que sustenta un servicio de IA. Dependiendo del caso de uso, entre las señales adicionales podrían figurar la latencia de respuesta, el uso del modelo, el consumo de tokens de entrada y salida, los errores, las llamadas a herramientas y los pasos realizados a lo largo de un flujo de trabajo basado en IA.

En el caso de algunas aplicaciones, las organizaciones también pueden necesitar formas de evaluar si los resultados siguen siendo relevantes y coherentes con la finalidad del servicio.

La combinación de estas perspectivas puede ayudar a distinguir entre diferentes tipos de problemas. Si un asistente de IA tarda de repente mucho más en responder, la causa podría estar en la infraestructura que soporta la aplicación, en una API externa, en el propio modelo o en la forma en que se ha configurado el flujo de trabajo. Si los tiempos de respuesta se mantienen normales mientras que la utilidad de las respuestas se deteriora, puede que se necesite un conjunto diferente de señales para comprender qué ha cambiado.

El objetivo no es recopilar todas las métricas de IA posibles, sino identificar qué señales son relevantes para el proceso empresarial que respalda la IA y hacerlas lo suficientemente visibles como para detectar cambios significativos.

La observabilidad a medida que la IA entra en acción

La necesidad de esta visibilidad aumenta a medida que la IA va más allá de la mera generación de información y comienza a realizar tareas en los distintos sistemas de la empresa.

Los agentes de IA pueden recuperar información, interactuar con aplicaciones, acceder a herramientas y API, actualizar registros o activar flujos de trabajo. Por lo tanto, una sola tarea empresarial puede implicar varios pasos y componentes tecnológicos antes de alcanzar el resultado deseado.

Esto plantea una cuestión operativa que va más allá de si la tarea final se ha completado con éxito. Es posible que las organizaciones también necesiten comprender cómo se ha llevado a cabo.

Si un agente de IA resuelve una solicitud de un cliente, por ejemplo, puede resultar útil saber a qué sistemas ha accedido, qué herramientas ha utilizado, cuántas interacciones con el modelo han sido necesarias y si el flujo de trabajo ha seguido la ruta prevista. Si, de repente, la misma tarea requiere un número significativamente mayor de pasos o empieza a interactuar con herramientas diferentes, ese cambio puede merecer atención, incluso cuando el resultado final parezca correcto.

La observabilidad y la seguridad abordan aspectos diferentes, pero complementarios, de esta evolución. Los controles de acceso determinan a qué puede acceder y qué puede hacer un sistema de IA. La observabilidad puede ayudar a las organizaciones a comprender qué ocurrió cuando la IA operó dentro de esos permisos.

Esta distinción cobra mayor importancia a medida que las organizaciones otorgan a los sistemas de IA un papel más activo en los procesos empresariales.

Comprender el coste de las operaciones de IA

El rendimiento operativo no se limita a la disponibilidad, la velocidad y la calidad del resultado. En el caso de la IA, también tiene una dimensión económica.

Las llamadas al modelo, los tokens, la capacidad de cálculo, la recuperación de datos y los servicios externos pueden contribuir al coste de ejecutar un proceso respaldado por IA. A medida que las aplicaciones se amplían a más usuarios y funciones empresariales, unas ineficiencias relativamente pequeñas pueden llegar a ser significativas.

Una aplicación de IA puede seguir produciendo el resultado esperado aunque utilice más recursos de los necesarios. Un agente podría repetir llamadas al modelo, recuperar contexto excesivo o seguir una ruta innecesariamente compleja a lo largo de un flujo de trabajo. Sin una visibilidad suficiente de estos patrones, las organizaciones pueden ver cómo aumentan los costes de la IA sin comprender qué los está provocando.

La observabilidad puede ayudar a relacionar el rendimiento técnico con el consumo de recursos. En lugar de fijarse únicamente en el coste global de una plataforma de IA, las organizaciones pueden empezar a comprender cómo determinadas aplicaciones o flujos de trabajo utilizan los recursos y si ese consumo sigue siendo proporcional a su finalidad.

Esto cobra especial relevancia a medida que las organizaciones pasan de un número limitado de proyectos piloto de IA a carteras más amplias de servicios basados en IA.

Los servicios de IA cambian con el tiempo

La observabilidad también es importante porque un servicio de IA no permanece necesariamente estático tras su implementación.

Los modelos pueden actualizarse, las fuentes de datos de la empresa pueden evolucionar, las indicaciones y los flujos de trabajo pueden cambiar, los requisitos de los usuarios pueden variar y pueden conectarse nuevas herramientas o aplicaciones. Por lo tanto, un servicio de IA que hoy funcione bien puede ofrecer resultados diferentes dentro de unos meses, incluso si la infraestructura subyacente sigue en buen estado.

Las organizaciones necesitan formas de identificar estos cambios y determinar cuáles son relevantes. Esto no significa que cada variación represente un problema. Los distintos casos de uso de la IA requieren diferentes niveles de coherencia, rendimiento y control.

Lo importante es disponer de la visibilidad suficiente para distinguir la variación normal de los cambios en el comportamiento de la IA que podrían afectar al proceso empresarial.

Algo en lo que pensar: Si el rendimiento de un servicio de IA crítico para el negocio cambiara gradualmente con el tiempo, ¿en cuánto tiempo te darías cuenta?

La observabilidad debe reflejar la carga de trabajo

No todas las aplicaciones de IA requieren el mismo nivel de visibilidad operativa.

Un asistente interno que ayuda a los empleados a resumir información tiene un perfil de rendimiento y riesgo diferente al de un sistema de IA que da soporte a operaciones de fabricación, interacciones con los clientes u otros procesos críticos para el negocio. Por lo tanto, las señales que importan deben reflejar la finalidad y la importancia de la carga de trabajo.

En una aplicación, el tiempo de respuesta y el consumo de recursos pueden ser los indicadores principales. En otra, la calidad de los resultados, la recuperación de datos o la secuencia de acciones realizadas por un agente de IA pueden requerir una atención más detallada.

Las empresas ya disponen de grandes volúmenes de información operativa, por lo que añadir más datos de monitorización no es un objetivo en sí mismo. Lo que importa es conectar la infraestructura adecuada y las señales específicas de la IA con el servicio empresarial al que dan soporte.

Esto convierte la observabilidad en parte de una cuestión operativa más amplia: ¿cómo se define un rendimiento satisfactorio para esta carga de trabajo de IA y qué información se necesita para detectar cuándo cambia?

Preguntas que deberían plantearse los responsables tecnológicos

A medida que la IA pasa de la fase experimental al uso operativo, los responsables tecnológicos deberían plantearse lo siguiente:

• ¿Qué procesos empresariales respaldados por IA requieren una visibilidad que vaya más allá de la supervisión tradicional de la infraestructura y las aplicaciones?
• ¿Qué indicadores nos permiten saber si nuestros servicios de IA más importantes están funcionando según lo esperado?
• ¿Podemos distinguir un problema de infraestructura de un cambio en el rendimiento de la IA o en la calidad de los resultados?
• ¿Disponemos de visibilidad sobre el uso de los modelos, la latencia, los errores, el consumo de recursos y las llamadas a herramientas externas o API, cuando sea pertinente?
• Si los agentes de IA realizan acciones en varios sistemas, ¿podemos comprender la ruta que han seguido y las herramientas que han utilizado?
• ¿Podemos identificar cambios significativos en el rendimiento o el consumo de recursos de una aplicación de IA a lo largo del tiempo?
• ¿Entendemos qué factores determinan el coste operativo de cada carga de trabajo de IA?
• ¿Están nuestros requisitos de observabilidad alineados con la importancia empresarial de cada caso de uso de la IA?

No habrá un único conjunto de métricas que se aplique a todas las aplicaciones de IA empresarial. Lo importante es establecer la visibilidad suficiente para comprender si los servicios de IA importantes siguen funcionando de acuerdo con sus requisitos técnicos, operativos y empresariales.

Ampliar la observabilidad de la IA empresarial

A medida que la IA pasa de la fase experimental a las operaciones cotidianas, la observabilidad debe evolucionar con ella. El reto no consiste simplemente en generar más datos operativos, sino en conectar el estado de la infraestructura, el rendimiento de la IA y los procesos de negocio a los que dan soporte.

Para los responsables tecnológicos, esto significa definir en qué consiste un funcionamiento satisfactorio de los servicios de IA más importantes e identificar las señales que pueden indicar cuándo se produce un cambio. Estos requisitos variarán en función de la carga de trabajo, pero el principio sigue siendo el mismo: las organizaciones necesitan suficiente visibilidad para gestionar la IA con confianza a medida que crece su papel en el negocio.

Ampliar la observabilidad de esta manera puede contribuir a que la IA se convierta en un componente más fiable y manejable del entorno tecnológico de la empresa.

Continúa la conversación

A medida que la IA se va integrando en procesos cada vez más críticos para el negocio, las organizaciones necesitan tener una visión clara tanto de la infraestructura que la sustenta como del rendimiento real de los propios servicios de IA.

Si desea saber cómo la observabilidad puede contribuir a que las operaciones de IA empresarial sean fiables y fáciles de gestionar, nuestros especialistas están a su disposición para ayudarle.


Imagen: creada con IA