Observability von KI in Unternehmen neu denken

Warum sich die betriebliche Transparenz über die Infrastruktur hinaus erstrecken muss

Da künstliche Intelligenz zunehmend in alltägliche Geschäftsprozesse integriert wird, geht es für Unternehmen mittlerweile nicht mehr nur um die Frage, ob eine KI-Anwendung verfügbar ist. Sie müssen auch verstehen, wie gut sie funktioniert, wie sie genutzt wird und ob sie weiterhin die Erwartungen des Unternehmens erfüllt.

Dies stellt eine andere operative Herausforderung dar als bei herkömmlichen Anwendungen. Ein KI-Dienst kann technisch verfügbar sein, innerhalb einer akzeptablen Zeit reagieren und keine offensichtlichen Infrastrukturprobleme aufweisen, während sich die Qualität oder Effizienz des Dienstes verändert. Antworten können an Aussagekraft verlieren, ein Workflow kann unnötige Aufrufe an externe Tools auslösen oder eine Anwendung kann deutlich mehr Rechenressourcen verbrauchen als erwartet.

Die traditionelle Observability von Infrastruktur und Anwendungen bleibt unverzichtbar. KI ersetzt nicht die Notwendigkeit, den Zustand von Netzwerken, Cloud-Plattformen, Anwendungen und der zugrunde liegenden Infrastruktur zu verstehen. Sie erweitert den Umfang der Observability, indem sie zusätzliche Fragen zur Leistung und zum Betrieb des KI-Dienstes selbst aufwirft.

Da Unternehmens-KI für den Geschäftsbetrieb immer wichtiger wird, benötigen Unternehmen daher Transparenz sowohl über die Infrastruktur, die die KI unterstützt, als auch darüber, wie sich KI-Dienste in der Praxis verhalten.

KI führt neue Betriebssignale ein

Das herkömmliche Monitoring liefert bekannte Kennzahlen zum Zustand von Anwendungen und Infrastruktur. Verfügbarkeit, Antwortzeiten, Fehlerraten, Netzwerkleistung und Ressourcenauslastung können den Betriebsteams dabei helfen, festzustellen, ob ein Dienst erreichbar ist und ob die dahinterstehende Technologie normal funktioniert.

KI-Anwendungen bringen zusätzliche Variablen mit sich. Ihre Ergebnisse können vom Modell, der Eingabeaufforderung und dem Kontext, den aus Unternehmenssystemen abgerufenen Informationen sowie den zur Erledigung einer Aufgabe eingesetzten Tools oder externen Diensten abhängen.

Für Unternehmen, die KI in großem Maßstab einsetzen, bedeutet dies, dass neben der technischen Leistung auch berücksichtigt werden muss, wie effektiv der KI-Dienst seine beabsichtigte Funktion erfüllt.

Ein KI-Assistent im Unternehmen könnte beispielsweise zwar verfügbar bleiben und schnell reagieren, dabei jedoch nach und nach Antworten liefern, die Mitarbeiter als weniger nützlich empfinden. Ein KI-gestützter Workflow könnte erfolgreich abgeschlossen werden, dabei jedoch mehr Modell- oder API-Aufrufe ausführen als nötig. Ein KI-Agent könnte das beabsichtigte Ergebnis erzielen, dabei jedoch einen anderen oder komplexeren Weg einschlagen.

Diese Situationen würden nicht unbedingt als herkömmliche Infrastrukturausfälle erscheinen, können aber dennoch die Leistung, die Kosten und die Zuverlässigkeit eines KI-gestützten Geschäftsprozesses beeinträchtigen.

Denkanstoß: Wenn die Beobachtung zeigt, dass ein KI-Dienst nicht mehr wie erwartet funktioniert, wissen Sie dann, welche Version sich geändert hat, wer dafür verantwortlich ist und wie der Fallback aussehen sollte?

Die Verbindung zwischen dem Zustand der Infrastruktur und der KI-Leistung

Die Observability von KI muss daher verschiedene Arten von Informationen zusammenführen.

Infrastruktur-Telemetrie bleibt weiterhin ein wichtiger Bestandteil. Unternehmen benötigen nach wie vor Einblick in Cloud-Ressourcen, Netzwerke, Anwendungen, APIs und die übrigen Technologien, die einen KI-Dienst unterstützen. Je nach Anwendungsfall können zusätzliche Signale herangezogen werden: unter anderem die Antwortlatenz, die Modellnutzung, den Verbrauch von Eingabe- und Ausgabetoken, Fehler, Tool-Aufrufe sowie die Schritte, die im Rahmen eines KI-gestützten Workflows durchgeführt werden.

Bei einigen Anwendungen benötigen Unternehmen eventuell auch Möglichkeiten, um zu beurteilen, ob die Ergebnisse weiterhin relevant sind und mit dem Zweck des Dienstes übereinstimmen.

Die Kombination dieser Perspektiven kann dabei helfen, zwischen verschiedenen Arten von Problemen zu unterscheiden. Wenn ein KI-Assistent plötzlich deutlich länger braucht, um zu antworten, könnte die Ursache in der Infrastruktur liegen, die die Anwendung unterstützt, in einer externen API, im Modell selbst oder in der Art und Weise, wie der Workflow konfiguriert wurde. Bleiben die Antwortzeiten normal, während sich die Aussagekraft der Antworten verschlechtert, sind möglicherweise andere Signale erforderlich, um zu verstehen, was sich geändert hat.

Das Ziel besteht nicht darin, jede mögliche KI-Metrik zu erfassen, sondern zu ermitteln, welche Signale für den von der KI unterstützten Geschäftsprozess von Bedeutung sind, und diese so sichtbar zu machen, dass aussagekräftige Veränderungen erkannt werden können.

Observability im Zuge des Einsatzes von KI

Der Bedarf an dieser Transparenz wächst, da KI mittlerweile nicht mehr nur Informationen generiert, sondern Aufgaben in unternehmensweiten Systemen ausführt.

KI-Agenten können Informationen abrufen, mit Anwendungen interagieren, Tools und APIs aufrufen, Datensätze aktualisieren oder Workflows auslösen. Eine einzelne Geschäftsaufgabe kann daher mehrere Schritte und Technologiekomponenten umfassen, bevor das beabsichtigte Ergebnis erreicht wird.

Dies wirft eine operative Frage auf, die darüber hinausgeht, ob die eigentliche Aufgabe erfolgreich abgeschlossen wurde. Unternehmen müssen möglicherweise auch verstehen, wie sie abgeschlossen wurde.

Wenn ein KI-Agent beispielsweise eine Kundenanfrage bearbeitet, kann es hilfreich sein zu wissen, auf welche Systeme er zugegriffen hat, welche Tools er aufgerufen hat, wie viele Modellinteraktionen erforderlich waren und ob der Workflow dem erwarteten Ablauf gefolgt ist. Wenn dieselbe Aufgabe plötzlich deutlich mehr Schritte erfordert oder mit anderen Tools interagiert, verdient diese Änderung möglicherweise Aufmerksamkeit, selbst wenn das Endergebnis korrekt erscheint.

Beobachtbarkeit und Sicherheit befassen sich mit unterschiedlichen, sich jedoch ergänzenden Aspekten dieser Entwicklung. Zugriffskontrollen legen fest, auf welche Ressourcen ein KI-System zugreifen und welche Aktionen es ausführen darf. Beobachtbarkeit kann Unternehmen dabei helfen zu verstehen, was geschah, als die KI im Rahmen dieser Berechtigungen agierte.

Diese Unterscheidung gewinnt an Bedeutung, je mehr Unternehmen KI-Systemen eine aktivere Rolle in Geschäftsprozessen zuweisen.

Die Kosten des KI-Betriebs verstehen

Betriebliche Leistungsfähigkeit bemisst sich nicht allein an Verfügbarkeit, Geschwindigkeit und Ergebnisqualität. Bei KI kommt eine wirtschaftliche Dimension hinzu.

Modellaufrufe, Tokens, Rechenkapazität, Datenabfragen und externe Dienste tragen zu den Kosten KI-gestützter Prozesse bei. Werden Anwendungen auf immer mehr Nutzer und Geschäftsbereiche ausgeweitet, können sich selbst kleinere Ineffizienzen zu erheblichen Kostenfaktoren entwickeln.

Eine KI-Anwendung kann weiterhin die erwarteten Ergebnisse liefern und dabei dennoch mehr Ressourcen verbrauchen als nötig. Beispielsweise könnte ein KI-Agent wiederholt Modellaufrufe ausführen, übermäßig viele Kontextinformationen abrufen oder unnötig komplexe Abläufe durchlaufen. Fehlt die nötige Transparenz über solche Vorgänge, können Unternehmen mit steigenden KI-Kosten konfrontiert sein, ohne deren Ursachen zu kennen.

Observability kann dabei helfen, die technische Leistungsfähigkeit mit dem Ressourcenverbrauch in Beziehung zu setzen. Statt lediglich die Gesamtkosten einer KI-Plattform zu betrachten, können Unternehmen nachvollziehen, wie einzelne Anwendungen oder Workflows Ressourcen nutzen und ob dieser Verbrauch in einem angemessenen Verhältnis zu ihrem jeweiligen Zweck steht.

Dies gewinnt besonders dann an Bedeutung, wenn Unternehmen von einer begrenzten Zahl an KI-Pilotprojekten zu einem breiteren Portfolio KI-gestützter Services übergehen.

KI-Services verändern sich im Laufe der Zeit

Observability ist auch deshalb wichtig, weil ein KI-Service nach seiner Einführung nicht zwangsläufig unverändert bleibt.

Modelle werden aktualisiert, unternehmensinterne Datenquellen entwickeln sich weiter, Prompts und Workflows werden angepasst, Anforderungen der Nutzer verändern sich und neue Tools oder Anwendungen werden angebunden. Ein KI-Service, der heute zuverlässig funktioniert, kann deshalb einige Monate später andere Ergebnisse liefern – selbst wenn die zugrunde liegende Infrastruktur weiterhin einwandfrei arbeitet.

Unternehmen müssen solche Veränderungen erkennen und beurteilen können, welche davon relevant sind. Dabei stellt nicht jede Abweichung automatisch ein Problem dar. Unterschiedliche KI-Anwendungsfälle stellen unterschiedliche Anforderungen an Konsistenz, Leistungsfähigkeit und Kontrolle.

Entscheidend ist eine ausreichende Transparenz, um normale Schwankungen von Veränderungen im Verhalten der KI unterscheiden zu können, die sich auf Geschäftsprozesse auswirken könnten.

Denkanstoß: Wenn sich die Leistungsfähigkeit eines geschäftskritischen KI-Services im Laufe der Zeit schleichend verändern würde – wie schnell würden Sie dies bemerken?

Observability muss zum jeweiligen Workload passen

Nicht jede KI-Anwendung benötigt das gleiche Maß an Transparenz im laufenden Betrieb.

Ein interner Assistent, der Mitarbeitende beim Zusammenfassen von Informationen unterstützt, hat ein anderes Leistungs- und Risikoprofil als ein KI-System, das Produktionsprozesse, Kundeninteraktionen oder andere geschäftskritische Abläufe unterstützt. Welche Signale relevant sind, sollte sich deshalb nach dem Einsatzzweck und der geschäftlichen Bedeutung des jeweiligen Workloads richten.

Bei einer Anwendung können Antwortzeiten und Ressourcenverbrauch die wichtigsten Kennzahlen sein. Bei einer anderen müssen möglicherweise die Ergebnisqualität, die Datenabfragen oder die Abfolge der von einem KI-Agenten ausgeführten Aktionen genauer betrachtet werden.

Unternehmen verfügen bereits über große Mengen an Betriebsdaten. Noch mehr Monitoring-Daten zu erfassen, ist daher kein Selbstzweck. Entscheidend ist vielmehr, die relevanten Signale aus der Infrastruktur und den KI-Anwendungen mit dem Geschäftsservice zu verknüpfen, den sie unterstützen.

Damit wird Observability Teil einer übergeordneten betrieblichen Fragestellung: Woran lässt sich erkennen, dass ein KI-Workload die erwartete Leistung erbringt, und welche Informationen werden benötigt, um Veränderungen rechtzeitig zu erkennen?

Welche Fragen sich IT-Entscheider stellen sollten

• Wenn KI den Schritt von der Erprobung in den produktiven Betrieb vollzieht, sollten IT-Entscheider folgende Fragen berücksichtigen:
• Welche KI-gestützten Geschäftsprozesse erfordern eine Transparenz, die über das klassische Infrastruktur- und Anwendungsmonitoring hinausgeht?
• Welche Signale zeigen uns, ob unsere wichtigsten KI-Services die erwartete Leistung erbringen?
• Können wir zwischen einem Infrastrukturproblem und einer Veränderung der KI-Leistung oder Ergebnisqualität unterscheiden?
• Haben wir bei Bedarf Einblick in Modellnutzung, Latenzen, Fehler, Ressourcenverbrauch sowie Aufrufe externer Tools oder APIs?
• Können wir nachvollziehen, welche Schritte KI-Agenten bei systemübergreifenden Aktionen durchlaufen und welche Tools sie dabei einsetzen?
• Können wir relevante Veränderungen der Leistungsfähigkeit oder des Ressourcenverbrauchs einer KI-Anwendung im Zeitverlauf erkennen?
• Verstehen wir, welche Faktoren die Betriebskosten einzelner KI-Workloads beeinflussen?
• Orientieren sich unsere Anforderungen an Observability an der geschäftlichen Bedeutung des jeweiligen KI-Anwendungsfalls?

Es wird keinen einheitlichen Satz an Kennzahlen geben, der für sämtliche KI-Anwendungen eines Unternehmens gleichermaßen geeignet ist. Entscheidend ist, ausreichend Transparenz zu schaffen, um beurteilen zu können, ob wichtige KI-Services weiterhin die technischen, betrieblichen und geschäftlichen Anforderungen erfüllen.

Observability für den unternehmensweiten KI-Einsatz weiterentwickeln

Je stärker KI von der Experimentierphase in den betrieblichen Alltag übergeht, desto mehr muss sich auch Observability weiterentwickeln. Die Herausforderung besteht nicht einfach darin, zusätzliche Betriebsdaten zu erfassen. Vielmehr gilt es, den Zustand der Infrastruktur, die Leistungsfähigkeit der KI und die unterstützten Geschäftsprozesse miteinander in Beziehung zu setzen.

Für IT-Entscheider bedeutet dies, zunächst zu definieren, was einen erfolgreichen Betrieb der wichtigsten KI-Services ausmacht. Anschließend müssen sie festlegen, welche Signale relevante Veränderungen erkennen lassen. Die konkreten Anforderungen unterscheiden sich je nach Workload. Das grundlegende Prinzip bleibt jedoch gleich: Unternehmen benötigen ausreichend Transparenz, um KI auch bei wachsender geschäftlicher Bedeutung zuverlässig und kontrolliert betreiben zu können.

Eine entsprechend erweiterte Observability kann dazu beitragen, KI als verlässlichen und beherrschbaren Bestandteil der unternehmensweiten IT-Landschaft zu etablieren.

Lassen Sie uns ins Gespräch kommen

Je stärker KI in geschäftskritische Prozesse eingebunden wird, desto wichtiger wird die Transparenz – sowohl über die zugrunde liegende Infrastruktur als auch über die tatsächliche Leistungsfähigkeit der KI-Services im laufenden Betrieb.

Sie möchten erfahren, wie Observability einen zuverlässigen und kontrollierbaren KI-Betrieb in Ihrem Unternehmen unterstützen kann? Unsere Experten stehen Ihnen gerne für ein persönliches Gespräch zur Verfügung.


Bild: mit KI erstellt