260 Chicken McNuggets: Wo KI-Pilotprojekte an die Wand fahren

MashMachine
Podcast
Technologie
Projekte und Prozesses
#DigitaleWissensbissenS02E02

Vor gut einem Jahr war Klarna der Liebling jeder KI-Konferenz. Der Zahlungsdienstleister verkündete, sein KI-Assistent erledige die Arbeit von 700 Kundenservice-Mitarbeitern, und stellte ein Jahr lang praktisch niemanden mehr neu ein. 2025 kam die Kehrtwende: Der Chef räumte ein, man habe die Kosten zu sehr in den Vordergrund gestellt und dafür „lower quality" bekommen — jetzt stelle man wieder Menschen ein. Die KI war nicht dumm. Sie war nur nie so gut, wie die Demo versprochen hatte. Das fiel erst im echten Betrieb auf, an Millionen echten Kunden.

Klarna ist kein Einzelfall. Eine IBM-Befragung von 2.000 Geschäftsführern kommt zu einer ernüchternden Zahl: Nur eines von vier KI-Projekten bringt den versprochenen Ertrag, nur 16 Prozent werden je über das ganze Unternehmen ausgerollt. Trotzdem rennen alle los — fast zwei Drittel der Chefs investieren, bevor sie den Nutzen überhaupt verstanden haben, aus Angst, sonst abgehängt zu werden.

In Folge 2 geht es um die teuerste Strecke in jedem KI-Vorhaben: die zwischen der Demo, die alle begeistert, und dem Montagmorgen, an dem das Ding wirklich laufen soll.

Die Kernsätze der Folge

  • „Eine Demo ist eine Geschichte, die bei der Demo aufhört."
  • „Die Demo lebte von den fünfundachtzig Prozent. Der Betrieb ist an den fünfzehn gestorben." — McDonald's testete drei Jahre lang eine Bestell-KI im Drive-thru. Bei rund 85 % Trefferquote landeten am Ende 260 Chicken McNuggets auf einer Rechnung. Mitte 2024 war Schluss.
  • „Nicht das Modell ist der Engpass. Der Weg vom Modell in den Betrieb ist es." — Das MIT fand: 95 % der Unternehmens-Piloten bringen keine messbare Wirkung auf die Gewinn- und Verlustrechnung — und das liegt ausdrücklich nicht an der Qualität der Modelle.
  • „Die Demo ist billig, der Betrieb ist teuer." — Eine beeindruckende Vorführung baut ein guter Entwickler in zwei Wochen. Ein System, auf das ihr euch verlassen könnt, ist Monate Arbeit an unsichtbaren Stellen.
  • „Zeig mir eine Lösung, die seit einem Jahr in Produktion läuft. Erzähl mir, was dabei kaputtgegangen ist, und wie du es repariert hast." — Die eine Frage, die Verkäufer von Bauleuten trennt.
  • „Nicht die beeindruckendste Lösung gewinnt, sondern die, die am Dienstag noch läuft."

Worum es wirklich geht

Eine Demo läuft auf ausgewählten Beispielen, mit sauberen Daten, mit Fragen, für die man geübt hat. Sie zeigt den besten Tag des Systems, nicht den Durchschnitt — und unser Kopf rechnet von drei makellosen Antworten auf dreihundert hoch. Die fehlenden 15 Prozent sehen dabei aus wie ein kleiner Rest, den man schnell aufräumt. Tatsächlich sind sie hundert verschiedene Sonderfälle, jeder mit eigener Ursache — und genau dieses Stück lässt die Demo weg. Genau dort, meist ganz leise, stirbt der teure Pilot: Das Budget ist weg, die Begeisterung auch, und keiner will derjenige sein, der den Stecker zieht.

Die gute Nachricht: Ein paar wenige schaffen es trotzdem in den Betrieb, und sie machen etwas systematisch anders. Sie bauen für die 15 Prozent statt für die 85 und suchen den Nutzen im unscheinbaren Maschinenraum statt auf der Bühne. Und man kann an drei einfachen Fragen erkennen, ob man eine ehrliche Demo vor sich hat oder eine Verkaufsshow. Wie das geht — und zwei anonymisierte Fälle aus eigenen Projekten, die seit Jahren im Dauerbetrieb laufen — hört ihr in der Folge.

MashMachine
MashMachine
KI Knecht
Künstliche Intelligenz, die deine Werke unter die Leute bringt.

Weitere Blogartikel

Image

Höflich, selbstsicher, falsch: Was ein Lizenz-Chat über KI-Support verrät

KI-Chatbots im Kundenservice klingen fast immer gleich: freundlich, hilfsbereit, sicher in ihrer Antwort. Genau das macht sie so angenehm zu benutzen – und genau das ist ihr Problem. Denn ein selbstbewusster Ton sagt nichts über die Richtigkeit einer Antwort aus. Ein aktueller Fall aus unserem eigenen Alltag zeigt das sehr konkret.

Je schlauer die KI, desto subtiler die Halluzinationen

Warum erfindet KI Quellen, Zitate und ganze Gerichtsurteile? Weil sie nicht lügt, sondern rät — und wir ihr das Raten antrainiert haben. Der falsche Satz klingt dabei exakt wie der richtige, und je besser die Modelle werden, desto schwerer ist er zu ertappen. Folge 1 zeigt an echten Fällen — Deloitte, Air Canada, ein Anwalt mit 10.000 $ Strafe —, warum Halluzinationen kein Bug sind, sondern eine Eigenschaft. Und welcher eine Umschwenk KI vom Risiko zum belastbaren Werkzeug macht.

EU AI Act: Mythos und Wirklichkeit

Der EU AI Act ist geltendes Recht – kein Entwurf. Viele Verbote greifen bereits, Hochrisiko-Regeln folgen ab 2026/27. Betroffen sind nicht nur KI-Anbieter, sondern auch Unternehmen als „Deployer“ (z.B. Recruiting, Scoring, Support). In der Episode: Was ist verboten, was gilt als Hochrisiko, welche Transparenz- und Dokumentationspflichten kommen – und wie Firmen pragmatisch compliant werden.