Warum KI-Projekte im Mittelstand scheitern — und das Muster, das wirklich funktioniert

Im Januar 2026 befragte Horváth 200 mittelständische Unternehmen in Deutschland und stellte fest, dass diese 2025 nur 0,35 % ihres Umsatzes in KI investiert haben, gegenüber 0,41 % im Jahr 2024 (opens in new tab), während sich der breitere Markt von 0,40 % auf 0,50 % bewegte. Parallel dazu meldete die NANDA-Initiative des MIT, dass rund 95 % der GenAI-Pilotprojekte in Unternehmen keinen messbaren Effekt auf die Gewinn-und-Verlust-Rechnung liefern (opens in new tab), und die S&P-Global-Umfrage 2025 zeigte, dass der Anteil der Firmen, die die meisten ihrer KI-Programme einstellen, im Jahresvergleich von 17 % auf 42 % gesprungen ist (opens in new tab).

Der deutsche Mittelstand investiert weniger als der Markt, und die Projekte am Markt sterben in Rekordgeschwindigkeit. Wir bauen Software für Mittelständler und haben in den letzten achtzehn Monaten zahlreiche KI-Projekte entweder übernommen oder abgelehnt. Die Fehlermuster wiederholen sich.

Die Form der Lücke

Germany Trade & Invest beziffert den deutschen KI-Markt für 2025 auf rund 9 Milliarden Euro mit Wachstum auf 37 Milliarden Euro bis 2031 (opens in new tab). Entscheidend ist, wer ihn für sich nutzt. Die ifo-Konjunkturumfrage vom Mai 2025 (opens in new tab) misst die Aufteilung schonungslos: 56 % der Großunternehmen nutzen KI aktiv, 38 % der KMU, 31 % der Kleinstunternehmen — eine Auswertung vom Juni 2025 kam an den Rändern auf 48 % gegenüber 17 % (opens in new tab). Der Mittelstand hinkt hinterher, und der Rückstand wächst.

Fehlermuster 1: Der Pilot, der das Labor nie verlässt

Ein erfahrenes Team baut einen Proof-of-Concept auf dem Laptop. Die Demo ist großartig. Sechs Monate später ist nichts in Produktion. Gartner prognostizierte im Juli 2024, dass bis Ende 2025 mindestens 30 % der GenAI-Projekte nach dem POC aufgegeben würden (opens in new tab) — der Wert von S&P Global für 2025 liegt mit 42 % deutlich darüber. Für Agentic AI prognostiziert Gartner inzwischen, dass bis Ende 2027 über 40 % der Projekte abgebrochen werden (opens in new tab).

Die mittelstandsspezifische Variante: vom internen IT-Team neben dem Tagesgeschäft gebaut, von einer Abteilungsleitung ohne Budgethoheit gesponsert, als Foliendeck präsentiert. Niemand verantwortet die Deployment-Pipeline, die Datenverträge oder die Oncall-Bereitschaft um 3 Uhr morgens. Die Lösung ist, keine POCs mehr zu starten, die kein vorab vereinbartes Produktionsziel, keinen namentlich benannten operativen Owner und keinen Integrationsplan haben. Wenn Sie die Frage „welchen Geschäftsprozess ersetzt das?" nicht beantworten können, starten Sie nicht.

Fehlermuster 2: Der generische Chatbot auf der öffentlichen Website

Das erste KI-Projekt einer Firma ist fast immer ein kundengerichteter Chatbot, der auf die Unternehmenswebsite geschraubt wird. Er zieht sich die Marketingtexte, beantwortet Fragen, die die FAQ bereits beantwortet, kostet einen sechsstelligen Betrag, und niemand misst den Umsatzeffekt, weil das von vornherein nicht messbar war.

Gleichzeitig hat dieselbe Firma einen Auftragserfassungsprozess, in dem das Vertriebsteam PDF-Bestellungen manuell eintippt — hunderte pro Woche, mit Artikelnummer-Lookups und Sonderpreis-Regeln im Kopf einer einzigen Person. Genau dort zahlt sich KI aus: Dokumentenextraktion, Entity-Matching gegen das ERP, Confidence-Scoring mit Routing. Ein sechswöchiges Engagement kann dauerhaft eine volle FTE an Tippaufwand einsparen. MIT NANDA fand, dass über die Hälfte der GenAI-Budgets in Vertriebs- und Marketing-Tools fließt, der höchste ROI aber in der Back-Office-Automatisierung liegt (opens in new tab).

Fehlermuster 3: Schmutzige Daten — und was das tatsächlich heißt

Die CDO-Insights-Umfrage von Informatica aus dem Jahr 2025 unter 600 Chief Data Officers nennt Daten mit 43 % als Blocker, gleichauf mit Technologie bei 43 % (opens in new tab). Gartner erwartet, dass bis 2026 60 % der KI-Projekte, die nicht durch KI-geeignete Daten gestützt sind, aufgegeben werden (opens in new tab).

In einem Mittelstandsunternehmen bedeutet „schmutzige Daten": drei überlappende Kundenstammsätze aus einer nie zusammengeführten Akquisition von 2017; Produktbeschreibungen, die 2014 maschinell ins Englische übersetzt wurden; ein „Status"-Feld mit siebzehn Werten, von denen sechs dasselbe bedeuten; gescannte PDF-Bestellungen auf einer Samba-Freigabe; ein Stücklistenfeld, das für alte Artikel Freitext und für neue Artikel strukturiertes JSON ist. Nichts davon lässt sich in einem Databricks-Workspace reparieren. Reparieren lässt es sich durch einen Engineer, der das ERP-Schema liest und mit der Person spricht, die die Daten eingibt. Wenn die Discovery eines Dienstleisters keine Woche mit dieser Person und keine konkrete Datenqualitäts-Bewertung der spezifischen Tabellen vorsieht, fährt das Projekt blind.

Fehlermuster 4: Den Partner engagieren, der keinen Code liefert

Der Reflex des Mittelstands ist, eine große Beratung zu beauftragen. Gute Folien, Workshops, eine Roadmap mit vierzehn „KI-Chancen" in einer 2x2-Matrix und die Empfehlung eines „Center of Excellence". Sechs Monate und eine siebenstellige Rechnung später existiert kein Produktionssystem.

Der Befund des MIT-NANDA ist eindeutig (opens in new tab): Einkauf bei spezialisierten Anbietern und Partnerschaften haben eine Erfolgsquote von rund 67 %; interne Eigenentwicklungen schaffen es nur etwa ein Drittel so oft. Die richtige Frage an jede Firma, die KI-Arbeit pitcht: „Wer in Ihrem Team schreibt das Python, das in Produktion läuft, und kann ich nächste Woche mit dieser Person sprechen?" Lautet die Antwort „unsere Delivery-Partner in Indien" oder „wir holen Spezialisten während der Implementierung dazu", ist das ein schlechtes Zeichen.

Das Muster, das wirklich funktioniert

Über alle Mittelstandsprojekte hinweg, die wir erfolgreich haben laufen sehen, treffen sechs Dinge fast immer zu.

Schmale Vertikale. Ein Workflow mit messbarem Volumen — Aufträge pro Woche, Tickets pro Tag — nicht „KI im ganzen Unternehmen". Horizontale Strategien verlieren jedes Mal gegen vertikale Punktlösungen.

Eigene Daten. Das Modell liest und schreibt Daten, die die Firma bereits regiert. Das System of Record bleibt das System of Record; die KI-Schicht greift über definierte APIs darauf zu.

Sechs Wochen bis zum ersten Produktionswert. Kein sechswöchiger POC — ein System, das echte Arbeit verarbeitet, auch wenn es eng umrissen ist. Meilenstein in Woche sechs: „zehn Prozent der Aufträge laufen über den neuen Pfad, mit menschlicher Prüfung der Ergebnisse." Vertrauen wächst monatlich mit gemessener Genauigkeit.

Ein einzelner Executive Sponsor mit Budgethoheit. Eine Person — COO, Geschäftsführer, Leiter Operations — die das Ergebnis verantwortet und interne Widerstände ohne dreiwöchige Eskalation abräumen kann.

Engineering-lastiges Team. Zwei oder drei Engineers, ein Fach-Owner aus Operations, ein Technical Lead. Kein Programm-Manager, kein Change-Berater, kein Architekt, der keinen Code schreibt.

Evaluations-Gates an Business-Metriken geknüpft. Bevor Code geschrieben wird, einigt sich das Team auf das Gate: Aufträge pro Stunde, Fehlerquote unter X %, Kosten pro Dokument unter Y Cent. Ohne diese Gates liefern Sie eine Demo aus und entdecken sechs Monate später, dass sie in 12 % der Fälle falsch liegt.

Was Sie von jedem KI-Anbieter oder Integrator verlangen sollten

RfPs belohnen die umfassendste Methodik und die längste Referenzliste. Beides korreliert schwach mit Lieferung. Vier harte Gates:

1. Zeigen Sie uns Code, den Sie in den letzten zwölf Monaten in Produktion gebracht haben. Keine Case-Study-PDF. Ein Repository, eine System-Demo mit echten Daten oder eine Produktions-URL mit einem namentlich genannten Kunden, den wir anrufen können.

2. Nennen Sie den Engineer, der das Delivery leitet, und lassen Sie uns mit ihm sprechen. Die Senior-Engineer-Person, auf deren GitHub der Code liegen wird — verfügbar für ein fünfundvierzigminütiges technisches Interview vor der Vertragsunterzeichnung.

3. Verpflichten Sie sich auf einen Woche-6-Meilenstein mit messbarem Volumen. Produktiver Durchsatz mit definierten Genauigkeits-Gates, keine Demo. Anbieter, die in Richtung „erst scopen, dann planen, dann bauen" schieben, sind strukturell nicht in der Lage, das Muster zu liefern, das funktioniert.

4. Erklären Sie die Datenarbeit. Welche Tabellen werden Sie lesen? Welche Felder bereiten Ihnen Sorge? Was ist Ihr Exit-Plan, wenn die Daten nicht bereinigbar sind? Ein Anbieter, der nicht mit diesen Fragen führt, plant, am 43-%-Blocker zu scheitern.

Warum das jetzt wichtig ist

Die Horváth-Studie endet mit einem nüchternen Satz des Studienleiters Heiko Fink: „Wenn die KI-Transformation nicht jetzt massiv beschleunigt wird, entwickelt sich die Technologielücke zu einem existenziellen strategischen Risiko." Die Dringlichkeit ist real. Die richtige Antwort ist nicht, mehr für die gleichen gescheiterten Muster auszugeben — sondern kleinere, messbare, eigene Systeme zu liefern, die tatsächlich laufen.

Die Stärken des Mittelstands — tiefes Prozesswissen, langjährige Kundenbeziehungen, operative Disziplin — sind genau die Zutaten, die ein schmal-vertikales KI-Projekt braucht. Was selten intern vorhanden ist, ist die Engineering-Bank, um dieses Prozesswissen in sechs Wochen in laufenden Code zu übersetzen. Die Firmen, die 2026 gewinnen, sind nicht die mit den größten KI-Budgets. Es sind die, die einen unglamourösen Workflow ausgewählt, ihn ehrlich gemessen und ein System geliefert haben, das echte Kosten beseitigt.

Weiterführende Literatur

• Horváth- / Reuters-Berichterstattung zur Mittelstand-KI-Investitionsstudie vom Januar 2026 (opens in new tab)
• MIT NANDA, „The GenAI Divide: State of AI in Business 2025" (via Fortune) (opens in new tab)
• Informatica, CDO Insights 2025 (Umfrage unter 600 Chief Data Officers) (opens in new tab)
• S&P Global Voice of the Enterprise: AI & Machine Learning Use Cases 2025 (opens in new tab)
• Gartner-Pressemitteilung zu Projektabbrüchen bei Agentic AI (Juni 2025) (opens in new tab)
• ifo-Konjunkturumfrage zur KI-Adoption nach Unternehmensgröße (Juni 2025) (opens in new tab)