KI-Governance aufbauen: Ein 30/60/90-Tage-Fahrplan

KI-Governance: Warum jetzt handeln entscheidend ist

KI-Governance ist kein Luxusprojekt für Konzerne, sondern eine gesetzliche Notwendigkeit für jedes deutsche Unternehmen, das KI-Systeme einsetzt. Seit dem 2. Februar 2025 gilt Artikel 4 der EU AI Act-Verordnung (EU) 2024/1689 für alle Betreiber und Anbieter von KI-Systemen — ausnahmslos, unabhängig von Unternehmensgröße oder Branche. Dazu kommen ab dem 2. August 2026 die vollständigen Betreiberpflichten für Hochrisiko-KI-Systeme nach Artikel 26.

Die gute Nachricht: Wer jetzt systematisch vorgeht, kann in 90 Tagen eine solide, rechtssichere Basis schaffen. Dieser Fahrplan zeigt, wie das konkret gelingt — mit klaren Meilensteinen, praxisnahen Checklisten und einer Vorlage für die interne KI-Richtlinie.

KI-Governance bezeichnet den systematischen Rahmen aus Richtlinien, Prozessen, Rollen und Kontrollmechanismen, mit dem ein Unternehmen den verantwortungsvollen Einsatz von KI-Systemen steuert, überwacht und dokumentiert — im Einklang mit rechtlichen Anforderungen und eigenen Unternehmenswerten.

Was verlangt der EU AI Act von der KI-Governance im Unternehmen?

Der EU AI Act stellt keine explizite Pflicht auf, eine „KI-Governance" als solche einzurichten. Er schreibt jedoch konkrete Pflichten vor, die ohne ein Governance-Framework in der Praxis nicht erfüllbar sind.

Artikel 4: Die Kompetenzpflicht als Governance-Fundament

Artikel 4 EU AI Act verpflichtet alle Betreiber und Anbieter von KI-Systemen, dafür zu sorgen, dass ihre Mitarbeiter — und Dritte, die KI in ihrem Namen einsetzen — über eine ausreichende KI-Kompetenz verfügen. „Ausreichend" bedeutet dabei: proportional zur jeweiligen Rolle und zum konkreten KI-System, das genutzt wird.

Diese Pflicht ist bereits seit dem 2. Februar 2025 in Kraft. Wer seine Mitarbeiter bislang nicht geschult hat, ist bereits im Rückstand. Die Bundesnetzagentur (BNetzA), zuständige Aufsichtsbehörde in Deutschland, hat klargestellt: Es gibt kein vorgeschriebenes Format — aber die Maßnahmen müssen dokumentiert und nachweisbar sein.

Mehr zu den konkreten Anforderungen erklärt unser Artikel zu den Betreiberpflichten nach Artikel 26.

Artikel 26: Betreiberpflichten für Hochrisiko-KI

Wer Hochrisiko-KI-Systeme einsetzt — beispielsweise Software zur Bewerberauswahl, Kreditbewertung oder Mitarbeiterüberwachung — hat ab dem 2. August 2026 umfassende Pflichten nach Artikel 26 EU AI Act zu erfüllen:

• Nutzung gemäß Anbieteranweisungen
• Benennung und Ausstattung von Personen für die menschliche Aufsicht
• Aufbewahrung automatisch generierter Logs für mindestens 6 Monate
• Meldung von Vorfällen an Anbieter und Behörden
• Vorabinformation der Mitarbeiter und deren Interessenvertreter

Welche Systeme als Hochrisiko eingestuft werden, erklärt unser Beitrag zur KI-Risikoklassifizierung im Detail.

Phase 1 (Tage 1–30): Bestandsaufnahme und KI-Inventar

In der ersten Phase geht es um vollständige Transparenz darüber, was im Unternehmen tatsächlich läuft.

Was ist ein KI-Inventar und warum ist es unverzichtbar?

Ein KI-Inventar ist eine strukturierte Liste aller im Unternehmen genutzten KI-Systeme. Es ist das Fundament jeder KI-Governance: Ohne zu wissen, welche Systeme eingesetzt werden, ist eine Risikobewertung unmöglich, und eine KI-Richtlinie bleibt wirkungslos.

Ein vollständiges KI-Inventar erfasst für jedes System:

Schatten-KI: Das unterschätzte Compliance-Risiko

Besonders wichtig ist die Erfassung sogenannter Schatten-KI: KI-Tools, die Mitarbeiter ohne offizielle Genehmigung nutzen — etwa kostenlose KI-Schreibassistenten, Bildgeneratoren oder Übersetzungstools. Diese sind oft nicht dokumentiert, und es ist unklar, welche Daten dabei verarbeitet werden.

Meilensteine Phase 1:

• Abteilungsleiter befragen: Welche KI-Tools werden genutzt?
• IT-Systemliste auswerten: Welche KI-fähigen Softwarelizenzen bestehen?
• KI-Inventar-Tabelle anlegen und befüllen
• Erste Risikoeinstufung nach Ampelsystem vornehmen (Rot / Gelb / Grün)
• Sofortige Prüfung: Werden Praktiken eingesetzt, die Artikel 5 EU AI Act verbietet?

Phase 2 (Tage 31–60): KI-Richtlinie und Risikobewertung

Mit dem KI-Inventar in der Hand folgt die systematische Bewertung — und die Erstellung einer verbindlichen internen Richtlinie.

Was muss eine interne KI-Richtlinie enthalten?

Eine KI-Richtlinie (auch: KI-Nutzungsrichtlinie, KI-Policy) ist das zentrale Steuerungsdokument der KI-Governance. Sie schafft klare Regeln für alle Mitarbeiter und bildet die dokumentarische Basis für den Nachweis der Compliance.

Mindestinhalte einer KI-Richtlinie für KMU:

1. Geltungsbereich Für wen gilt die Richtlinie? (alle Mitarbeiter, externe Dienstleister, bestimmte Abteilungen)

2. Genehmigte und verbotene KI-Tools Liste der freigegebenen Systeme. Explizites Verbot ungenehmigter Tools. Hinweis auf absolute Verbote nach Artikel 5 EU AI Act (z. B. keine Emotionserkennung am Arbeitsplatz, kein Social Scoring).

3. Datenschutz und Dateneingabe Welche Daten dürfen in KI-Systeme eingegeben werden? (keine personenbezogenen Daten ohne DSGVO-Grundlage, keine vertraulichen Geschäftsdaten in nicht geprüfte Dienste)

4. Qualitätskontrolle und menschliche Aufsicht KI-Ergebnisse sind Ausgangspunkte, keine finalen Entscheidungen. Wer prüft, wann und wie?

5. Schulungspflichten Alle Mitarbeiter, die KI nutzen, müssen eine angemessene Schulung nach Artikel 4 EU AI Act nachweisen. Verweis auf das Schulungsprogramm.

6. Verantwortlichkeiten und Governance-Rollen Wer ist intern für KI-Governance zuständig? Wer entscheidet über neue KI-Tools? Wer ist Ansprechpartner bei Vorfällen?

7. Meldepfad für Vorfälle Was tun, wenn ein KI-System unerwartete oder problematische Ergebnisse liefert? An wen melden?

8. Dokumentations- und Aufbewahrungspflichten Für Hochrisiko-KI: Logs mindestens 6 Monate aufbewahren (Artikel 26(5) EU AI Act).

9. Überprüfungsrhythmus Die Richtlinie wird mindestens jährlich, oder bei wesentlichen Systemänderungen, aktualisiert.

Risikobewertung: Welche Systeme brauchen vertiefte Prüfung?

Systeme, die in der Inventarisierung als „Hochrisiko" oder „unklar" eingestuft wurden, benötigen eine vertiefte Bewertung anhand der Annex-III-Kriterien der EU AI Act-Verordnung. Schwerpunkte für KMU:

• HR-KI (Bewerberscreening, Leistungsbeurteilung, Entlassungsvorschläge): Fast immer Hochrisiko nach Annex III, Punkt 4
• Kreditbewertungs-KI: Hochrisiko nach Annex III, Punkt 5(b)
• Mitarbeiterüberwachungs-KI: Prüfen, ob Artikel 5(1)(f) (Emotionserkennung am Arbeitsplatz) betroffen ist

Meilensteine Phase 2:

• Risikobewertung für alle Systeme im Inventar abschließen
• KI-Richtlinie erstellen und von Geschäftsführung genehmigen lassen
• Betriebsrat informieren, sofern KI-Systeme Mitarbeiter betreffen (§ 87(1) Nr. 6 BetrVG)
• Für Hochrisiko-Systeme: Prüfung der Anbieter-Dokumentation und Anweisungen
• Governance-Rolle(n) formal benennen und kommunizieren

Phase 3 (Tage 61–90): Schulung, Aufsicht und kontinuierliches Monitoring

Die dritte Phase verankert die KI-Governance im Unternehmensalltag. Hier ist KI-Schulung der Mitarbeiter das entscheidende Fundament — denn eine Richtlinie, die niemand kennt, schützt nicht.

Warum Schulung das Herzstück der KI-Governance ist

Artikel 4 EU AI Act stellt nicht nur eine formale Dokumentationspflicht auf. Er verlangt eine tatsächlich erreichte KI-Kompetenz — proportional zur Rolle und zum Einsatzkontext. Das bedeutet:

• Mitarbeiter, die KI für Routineaufgaben nutzen (Texterstellung, Recherche), brauchen grundlegendes Verständnis von KI-Möglichkeiten und -Grenzen sowie Datenschutzrisiken.
• Mitarbeiter, die KI-gestützte Entscheidungen treffen (HR, Kreditvergabe, Kundenbewertung), brauchen tieferes Verständnis von Risikoeinstufung, menschlicher Aufsicht und Bias-Risiken.
• Führungskräfte und Compliance-Verantwortliche brauchen den vollständigen rechtlichen Rahmen.

Unser Artikel zur KI-Schulung für Mitarbeiter zeigt, welche Inhalte für welche Rollen relevant sind — und welche didaktischen Ansätze nachweislich wirken.

Governance-Rollen: Wer übernimmt was?

Nicht jedes KMU braucht eine eigene KI-Governance-Abteilung. Aber es muss klar sein, wer verantwortlich ist:

KI-Governance-Koordinator (intern)

• Pflegt das KI-Inventar aktuell
• Koordiniert Schulungsmaßnahmen
• Ist erste Ansprechperson bei Vorfällen
• Beobachtet rechtliche Entwicklungen (insbesondere Digital Omnibus, BNetzA-Verlautbarungen)

Abteilungsverantwortliche

• Melden neue KI-Tool-Nutzung an den Koordinator
• Stellen sicher, dass Mitarbeiter in ihrer Abteilung geschult sind
• Überwachen die KI-Richtlinie im Alltag

Geschäftsführung

• Genehmigt die KI-Richtlinie und trägt die Gesamtverantwortung
• Ist gemäß GmbHG § 43 / AktG § 93 persönlich für die ordnungsgemäße Unternehmensführung verantwortlich — dazu gehört die Steuerung von Compliance-Risiken

Kontinuierliches Monitoring: KI-Governance als lebendiger Prozess

KI-Governance ist kein einmaliges Projekt, sondern ein fortlaufender Prozess. Folgende Elemente sollten fest etabliert werden:

Quartalsweise:

• KI-Inventar auf Vollständigkeit prüfen (neue Tools? Veränderte Nutzung?)
• Vorfallslog auswerten
• Schulungsstand der Mitarbeiter prüfen

Jährlich:

• KI-Richtlinie aktualisieren
• Risikobewertung der Hochrisiko-Systeme wiederholen
• Externe Rechtsentwicklungen einarbeiten (neue BNetzA-Leitlinien, Urteile, Digital Omnibus-Status)

Bei wesentlichen Änderungen:

• Neue KI-Systeme: sofort inventarisieren, bewerten, schulen
• Systemänderungen des Anbieters: Neu bewerten, ob sich die Risikoklasse ändert

Meilensteine Phase 3:

• Mitarbeiterschulung für alle KI-nutzenden Mitarbeiter abschließen
• Schulungsnachweise dokumentieren und sicher aufbewahren
• Aufsichtsprozesse für Hochrisiko-KI operativ einrichten
• Vorfallsmeldesystem intern kommunizieren
• Quartalsreview-Termin im Kalender verankern

Häufige Fehler beim Aufbau von KI-Governance — und wie Sie sie vermeiden

Fehler 1: Mit der Richtlinie starten, bevor das Inventar vollständig ist Eine KI-Richtlinie, die auf unvollständiger Kenntnis der genutzten Systeme beruht, schafft blinde Flecken. Immer zuerst inventarisieren.

Fehler 2: Schatten-KI ignorieren Wenn Mitarbeiter inoffizielle Tools nutzen, sind diese trotzdem das rechtliche Problem des Unternehmens. Klare Richtlinien und offene Kommunikation helfen mehr als Verbote ohne Alternativen.

Fehler 3: Schulung als einmaliges Ereignis verstehen KI-Kompetenz nach Artikel 4 ist keine Pflicht, die man einmal abhakt. Sie muss mit der Nutzungsrealität Schritt halten. Neue Systeme, neue Rollen, neue Risiken erfordern neue Schulungen.

Fehler 4: KI-Governance nur als IT-Thema behandeln Governance-Risiken entstehen in HR, Marketing, Kundenservice und Führungsebene — nicht nur in der IT. Ein cross-funktionaler Ansatz ist entscheidend.

Fehler 5: Den Betriebsrat vergessen Wer KI-Systeme einsetzt, die Mitarbeiterverhalten überwachen oder auswerten, hat Mitbestimmungspflichten nach § 87(1) Nr. 6 BetrVG. Spätere Einbindung erzeugt Konflikte und Verzögerungen.

Jetzt starten: KI-Governance mit Forefront AI

Der Aufbau einer rechtssicheren KI-Governance beginnt nicht mit einem teuren Beratungsmandat — er beginnt mit dem Wissen Ihres Teams. Denn eine KI-Richtlinie bleibt toter Buchstabe, wenn die Menschen dahinter nicht verstehen, warum sie gilt und was sie konkret bedeutet.

Der zertifizierte Online-Kurs von Forefront AI gibt Ihrer Geschäftsführung, Ihrem IT-Leiter und Ihrem Compliance-Team genau dieses Fundament: fünf praxisnahe Module, die vom EU AI Act-Grundlagenwissen über Risikoeinstufung bis zu Betreiberpflichten und konkreten Governance-Strukturen führen. Das Ergebnis: dokumentierte KI-Kompetenz nach Artikel 4, verifizierbares Zertifikat mit QR-Code — und ein Team, das Ihre KI-Richtlinie nicht nur kennt, sondern versteht und lebt.

Besuchen Sie unsere Leistungsseite für Details zum Kursumfang und zur Zertifizierung, oder nehmen Sie direkt Kontakt auf. Wir zeigen Ihnen, wie der Einstieg in 30 Tagen gelingt.