KI-Governance: So setzt Du künstliche Intelligenz sicher und regelkonform im Unternehmen ein.
Ein Fachbereich führt einen KI-Assistenten ein, um Kundenanfragen schneller zu bearbeiten. Die Anwendung greift auf interne Dokumente zu und formuliert eigenständig Antworten. Nach einigen Wochen stellt sich heraus: Niemand kann genau sagen, welche Daten verarbeitet werden, wer die Ergebnisse kontrolliert und ob vertrauliche Informationen an den Anbieter übertragen wurden.
Wir sehen immer wieder: Solche Situationen entstehen nicht unbedingt durch mangelhafte Technologie. Häufig fehlen klare Regeln, Verantwortlichkeiten und Kontrollprozesse. Genau hier setzt KI-Governance an.
KI-Governance schafft einen verbindlichen Rahmen für den sicheren, transparenten und gesetzeskonformen Einsatz von künstlicher Intelligenz. Sie verbindet Unternehmensführung, Risikomanagement, Datenschutz, IT-Sicherheit und technische Entwicklung. Damit wird Governance zu einem zentralen Bestandteil jeder tragfähigen KI-Strategie.
Dieser Leitfaden zeigt Dir, wie Du ein KI Governance Framework aufbaust, Risiken bewertest und regulatorische Anforderungen wie den EU AI Act in praktische Prozesse übersetzt.
Was ist KI-Governance?
KI-Governance bezeichnet die Gesamtheit aller Regeln, Rollen, Prozesse und technischen Kontrollen, mit denen ein Unternehmen seine KI-Systeme steuert. Sie legt fest:
welche KI-Anwendungen eingesetzt werden dürfen,
wer Entscheidungen über den KI-Einsatz trifft,
wie Risiken bewertet und behandelt werden,
welche Daten verwendet werden dürfen,
wie Unternehmen KI-Systeme dokumentieren,
wann eine menschliche Kontrolle erforderlich ist,
wie Modelle und Ergebnisse überwacht werden,
und wie die Einhaltung interner sowie gesetzlicher Vorgaben nachgewiesen wird.
Governance bedeutet dabei nicht, jede KI-Initiative durch zusätzliche Bürokratie zu verlangsamen. Eine funktionierende Governance schafft vielmehr verlässliche Leitplanken. Teams wissen dadurch frühzeitig, welche Anforderungen sie beachten müssen und an wen sie sich bei Fragen wenden können.
Was sind KI-Anwendungsfälle in Unternehmen?
KI-Anwendungsfälle finden sich heute in nahezu allen Unternehmensbereichen. Ob automatisierte Dokumentenverarbeitung, intelligente Chatbots im Kundenservice, Prognosen für den Vertrieb oder vorausschauende Wartung in der Produktion. Der Einsatz von KI steigert Effizienz und unterstützt fundierte Entscheidungen. Genau deshalb ist eine klare KI-Governance wichtig: Sie sorgt dafür, dass KI-Anwendungen sicher, transparent und im Einklang mit gesetzlichen sowie unternehmensinternen Vorgaben entwickelt und genutzt werden.
Warum benötigen Unternehmen beim Einsatz von KI eine entsprechnede Governance?
Künstliche Intelligenz verbreitet sich in Unternehmen oft schneller als die dafür vorgesehenen Kontrollstrukturen. Mitarbeitende verwenden generative KI zum Verfassen von Texten, zur Softwareentwicklung oder zur Auswertung von Daten. Fachabteilungen testen KI-Services, ohne immer die IT, den Datenschutz oder den Einkauf einzubinden.
Dadurch entstehen unter anderem folgende Risiken:
vertrauliche Informationen gelangen an externe Anbieter,
Ergebnisse enthalten sachliche Fehler,
Trainingsdaten führen zu diskriminierenden Entscheidungen,
KI-Anwendungen verstoßen gegen Urheberrechte,
Verantwortlichkeiten bleiben ungeklärt,
Systeme erfüllen die Anforderungen des EU AI Act nicht,
Entscheidungen lassen sich später nicht nachvollziehen,
ähnliche KI-Lösungen werden mehrfach beschafft.
Der AI Index Report 2025 der Stanford University dokumentiert sowohl eine zunehmende wirtschaftliche Nutzung von KI als auch eine wachsende Zahl gemeldeter KI-bezogener Vorfälle. Das verdeutlicht: Mit der Nutzung steigen auch die Anforderungen an Kontrolle, Transparenz und Risikomanagement. Herausforderungen, denen wir in unserer KI-Beratung regelmäßig begegnen!
Was sind die 5 Ziele einer KI-Governance?
Eine wirksame KI-Governance soll nicht nur Compliance-Anforderungen erfüllen. Sie verfolgt mehrere miteinander verbundene Ziele.
Ziel #1: Sicherheit schaffen
KI-Systeme müssen gegen Manipulation, unberechtigte Zugriffe und Datenverluste geschützt sein. Das betrifft sowohl interne Modelle als auch externe KI-Services.
Ziel #2: Compliance gewährleisten
Die Nutzung von KI muss zu geltenden Gesetzen, vertraglichen Pflichten und internen Richtlinien passen. Dazu gehören insbesondere der EU AI Act, die Datenschutz-Grundverordnung, Urheberrecht und branchenspezifische Vorgaben.
Ziel #3: Transparenz herstellen
Das Unternehmen sollte wissen, welche KI-Systeme existieren, wer sie verantwortet und für welche Anwendungsfälle sie eingesetzt werden. Ein zentrales KI-Register bildet dafür die Grundlage.
Ziel #4: Verantwortungsvolle Entscheidungen ermöglichen
KI darf nicht in einem organisatorischen Vakuum agieren. Governance legt fest, welche Entscheidungen automatisiert werden können und wann Menschen Ergebnisse prüfen oder freigeben müssen.
Ziel #5: Vertrauen fördern
Transparente Prozesse stärken das Vertrauen von Mitarbeitenden, Kunden und Geschäftspartnern. Sie zeigen, dass das Unternehmen KI nicht unkontrolliert, sondern nach nachvollziehbaren Kriterien einsetzt.
Was unterscheidet KI-Governance von klassischer IT-Governance?
IT-Governance steuert grundsätzlich den Einsatz von Informationstechnologie. Sie behandelt beispielsweise IT-Architektur, Investitionen, Sicherheit und Servicequalität. KI-Governance baut darauf auf, berücksichtigt aber zusätzliche Eigenschaften künstlicher Intelligenz.
Klassische Software arbeitet meist nach fest programmierten Regeln. KI-Modelle leiten Ergebnisse dagegen aus Daten und statistischen Zusammenhängen ab. Dadurch entstehen besondere Herausforderungen:
Ergebnisse können probabilistisch und damit veränderlich sein.
Verzerrte Daten können zu unfairen Resultaten führen.
Generative KI kann überzeugend klingende Falschaussagen erzeugen.
Modellentscheidungen sind nicht immer vollständig erklärbar.
Die Leistung eines Modells kann sich durch veränderte Eingangsdaten verschlechtern.
Ein Modell kann außerhalb seines vorgesehenen Einsatzbereichs verwendet werden.
KI-Governance muss deshalb nicht nur Entwicklung und Einführung, sondern den gesamten Lebenszyklus eines KI-Systems abdecken. Möchtest Du KI in Deinem Unternehmen einführen stehen wir dir von der initialen Prozessanalyse bis zum Reporting und der Erfolgskontrolle zur Seite!
Wie gehst Du bei der Einführung einer KI-Governance vor?
Schritt 1: Ausgangslage analysieren
Prüfe bestehende KI-Anwendungen, Richtlinien, Rollen und Kontrollprozesse. Nutze vorhandene Strukturen aus Datenschutz, Informationssicherheit und Risikomanagement.
Schritt 2: Ziele und Risikoappetit definieren
Lege fest, welche KI-Strategien das Unternehmen verfolgt und welche Risiken es akzeptieren kann. Eine Bank wird andere Leitplanken benötigen als ein Produktionsbetrieb.
Schritt 3: Verantwortlichkeiten festlegen
Benenne zentrale Koordination, fachliche Owner und Entscheidungsgremien. Dokumentiere Zuständigkeiten beispielsweise in einer RACI-Matrix.
Schritt 4: KI-Register aufbauen
Erfasse bestehende und geplante KI-Anwendungsfälle. Beginne mit wenigen Pflichtfeldern und erweitere das Register schrittweise.
Schritt 5: Risikoklassifizierung entwickeln
Erstelle nachvollziehbare Kriterien für geringe, mittlere und hohe Risiken. Beziehe den EU AI Act sowie weitere Gesetze ein.
Schritt 6: Richtlinien und Prozesse einführen
Definiere Regeln für Nutzung, Beschaffung, Entwicklung, Freigabe, Überwachung und Abschaltung.
Schritt 7: Kontrollen technisch unterstützen
Nutze nach Möglichkeit Workflows, Zugriffskontrollen, Protokollierung und automatisierte Prüfungen. Governance sollte in bestehende Tools eingebettet sein.
Schritt 8: Mitarbeitende schulen
Vermittle nicht nur Verbote. Zeige konkrete, sichere Anwendungsmöglichkeiten und erkläre die vorgesehenen Freigabewege.
Schritt 9: Wirksamkeit messen
Überprüfe regelmäßig, ob Kontrollen tatsächlich funktionieren und ob sie dem jeweiligen Risiko entsprechen.
Was ist ein KI Governance Framework?
Ein KI Governance Framework ist ein strukturierter Ordnungsrahmen für den Einsatz von KI. Es übersetzt abstrakte Prinzipien in konkrete Verantwortlichkeiten, Richtlinien, Kontrollen und Arbeitsabläufe. In der Praxis zeigt sich, Framework besteht typischerweise aus sechs Säulen:
Strategie und Grundsätze
Rollen und Verantwortlichkeiten
Inventarisierung und Klassifizierung
Risiko- und Compliance-Management
Technische und organisatorische Kontrollen
Überwachung und kontinuierliche Verbesserung
Als Orientierung können Unternehmen etablierte Standards nutzen. Das NIST AI Risk Management Framework gliedert den Umgang mit KI-Risiken beispielsweise in die Funktionen Govern, Map, Measure und Manage. Mit ISO/IEC 42001 steht außerdem ein internationaler Standard für ein Managementsystem für künstliche Intelligenz zur Verfügung.
Ein Framework sollte jedoch nie unverändert übernommen werden. Du musst es an Branche, Unternehmensgröße, Anwendungsfälle und vorhandene Governance-Strukturen anpassen. Deswegen analysieren wir die Gegebenheiten bei unseren Kunden stets neu!
Welche Rolle spielt der EU AI Act als erstes KI-Gesetz?
Der EU AI Act, auf Deutsch auch EU-KI-Verordnung genannt, ist der erste umfassende gesetzliche Regulierungsrahmen für künstliche Intelligenz in der Europäischen Union. Die Verordnung verfolgt einen risikobasierten Ansatz: Je größer das mögliche Risiko eines KI-Systems, desto strenger sind die Anforderungen.
Der EU AI Act trat am 1. August 2024 in Kraft. Seine Vorschriften gelten stufenweise:
Seit dem 2. Februar 2025 gelten unter anderem Verbote bestimmter KI-Praktiken und Anforderungen an KI-Kompetenz.
Seit dem 2. August 2025 gelten wesentliche Vorschriften für General-Purpose-AI-Modelle.
Ab dem 2. August 2026 gelten nach dem gesetzlichen Zeitplan die meisten weiteren Regelungen.
Für bestimmte Hochrisiko-Systeme, die als Sicherheitskomponenten regulierter Produkte dienen, greifen Übergangsfristen bis 2027.
Unternehmen sollten die jeweils aktuelle Rechtslage und mögliche Änderungen des Zeitplans prüfen. Die Europäische Kommission stellt dafür Informationen und Leitlinien auf ihrer AI-Act-Plattform bereit.
Welche Risikoklassen unterscheidet die EU-KI-Verordnung?
Der AI Act unterscheidet vereinfacht zwischen mehreren Risikostufen.
Verbotene KI-Praktiken
Bestimmte Anwendungen gelten als nicht akzeptabel. Dazu können beispielsweise manipulative Systeme, bestimmte Formen des Social Scoring oder einzelne biometrische Kategorisierungen gehören. Die genaue Einordnung hängt vom Anwendungsfall und den gesetzlichen Ausnahmen ab.
Hochrisiko-KI-Systeme
Zu dieser Gruppe können KI-Systeme gehören, die in sensiblen Bereichen eingesetzt werden, etwa:
bei der Personalauswahl,
bei der Kreditwürdigkeitsprüfung,
in kritischen Infrastrukturen,
in medizinischen Produkten,
in Bildung und Prüfungen,
bei bestimmten behördlichen Entscheidungen.
Für solche KI-Systeme gelten umfangreiche Anforderungen an Risikomanagement, Datenqualität, Dokumentation, Protokollierung, menschliche Aufsicht und Robustheit.
KI mit Transparenzpflichten
Bei bestimmten Anwendungen muss für Nutzer erkennbar sein, dass sie mit einem KI-System interagieren. Auch für synthetisch erzeugte oder manipulierte Inhalte können Kennzeichnungspflichten bestehen.
KI mit minimalem Risiko
Viele alltägliche Anwendungen fallen nicht in eine streng regulierte Kategorie. Trotzdem können Datenschutz, Informationssicherheit, Vertragsrecht oder interne Richtlinien relevant bleiben.
Welche Strafen drohen bei Verstößen gegen den AI Act?
Die möglichen Sanktionen hängen von der Art des Verstoßes ab. Für Verstöße gegen verbotene KI-Praktiken sieht der EU AI Act grundsätzlich Bußgelder von bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Jahresumsatzes vor. Für andere Pflichtverletzungen gelten abgestufte Höchstgrenzen.
Die konkreten Sanktionen richten sich unter anderem nach Unternehmensgröße, Schwere, Dauer und Folgen des Verstoßes. Für kleine und mittlere Unternehmen gelten besondere Begrenzungsregeln. Maßgeblich sind die Bestimmungen in Artikel 99 des EU AI Act.
Doch was bedeutet das konkret? Unternehmen benötigen nicht nur juristische Bewertungen. Sie müssen Anforderungen in operative Abläufe, technische Kontrollen und dokumentierte Verantwortlichkeiten übersetzen. Genau das leistet KI-Governance.
Wie hängen KI-Governance und Datenschutz zusammen?
KI-Systeme verarbeiten häufig personenbezogene Daten. In solchen Fällen bleibt die DSGVO neben dem AI Act anwendbar. Beide Regelwerke verfolgen unterschiedliche, aber teilweise überlappende Ziele.
Vor dem Einsatz solltest Du unter anderem prüfen:
Gibt es eine Rechtsgrundlage für die Verarbeitung?
Welche personenbezogenen Daten gelangen in das KI-System?
Ist der Verwendungszweck eindeutig definiert?
Werden Daten für das Training eines externen Modells genutzt?
In welchen Ländern verarbeitet der Anbieter die Daten?
Wie lange werden Eingaben und Ausgaben gespeichert?
Können Betroffene ihre Rechte ausüben?
Ist eine Datenschutz-Folgenabschätzung erforderlich?
Trifft das System Entscheidungen mit rechtlicher oder vergleichbar erheblicher Wirkung?
Datenschutz darf nicht erst kurz vor der Inbetriebnahme geprüft werden. Er muss bereits in Auswahl, Konzeption und Entwicklung einfließen. Dieser Ansatz wird häufig als „Privacy by Design“ bezeichnet.
Warum sind Transparenz und Erklärbarkeit so wichtig?
Transparenz bedeutet, dass relevante Beteiligte nachvollziehen können, wo, warum und unter welchen Bedingungen KI eingesetzt wird. Erklärbarkeit geht einen Schritt weiter: Sie beschreibt, inwieweit sich einzelne Ergebnisse oder die allgemeine Funktionsweise eines Systems verständlich darstellen lassen.
Nicht jede Person benötigt dieselben Informationen. Ein Entwickler braucht andere Details als ein Kunde, eine Datenschutzbeauftragte oder die Geschäftsführung. Gute KI-Governance definiert deshalb zielgruppengerechte Transparenz.
Dazu gehören beispielsweise:
Zweck und Grenzen des KI-Systems,
verwendete Datenarten,
verantwortliche Organisationseinheit,
zentrale Leistungskennzahlen,
bekannte Fehlerrisiken,
erforderliche menschliche Kontrollen,
Kennzeichnung KI-generierter Inhalte,
Beschwerde- und Eskalationswege.
Transparenz hilft zudem, Risiken frühzeitig zu erkennen. Wenn ein Unternehmen seine KI-Anwendungen nicht kennt, kann es sie weder bewerten noch überwachen.
Was gehört in ein zentrales KI-Register?
Ein KI-Register dokumentiert alle bekannten KI-Systeme und KI-Anwendungsfälle des Unternehmens. Es ist damit eine wesentliche Grundlage für KI-Compliance und Risikomanagement.
Für jeden Eintrag solltest Du mindestens folgende Informationen erfassen:
Name und Beschreibung der Anwendung,
geschäftlicher Zweck,
verantwortlicher Fachbereich,
technischer Betreiber,
Hersteller oder externer Anbieter,
verwendetes Modell,
betroffene Nutzergruppen,
verarbeitete Datenarten,
Personenbezug der Daten,
Risikoklasse nach dem EU AI Act,
Status der rechtlichen Prüfung,
erforderliche menschliche Aufsicht,
Schnittstellen zu anderen Systemen,
Datum der letzten Überprüfung,
geplante Änderungen und Wartungszyklen.
Das Register sollte sowohl selbst entwickelte KI-Lösungen als auch eingekaufte Services erfassen. Dazu gehören auch Funktionen, die Anbieter nachträglich in bestehende Softwareprodukte integrieren.
Wie findest Du unbekannte KI-Anwendungen im Unternehmen?
Ein leeres KI-Register bedeutet nicht, dass keine KI eingesetzt wird. Häufig existieren bereits zahlreiche nicht dokumentierte Tools. Diese sogenannte Shadow AI entsteht, wenn Mitarbeitende KI ohne formelle Freigabe verwenden.
Eine Bestandsaufnahme kann mehrere Methoden kombinieren:
Befragung der Fachbereiche
Analyse vorhandener Softwareverträge
Prüfung von Cloud- und SaaS-Diensten
Auswertung freigegebener Browser-Erweiterungen
Workshops mit IT, Einkauf und Datenschutz
Untersuchung bestehender Automatisierungsprozesse
technisches Monitoring des Datenverkehrs im rechtlich zulässigen Rahmen
Die Kommunikation ist dabei entscheidend. Wenn Mitarbeitende Sanktionen fürchten, melden sie Anwendungen möglicherweise nicht. Erkläre deshalb, dass das KI-Register sichere Nutzung ermöglichen und nicht pauschal verhindern soll.
Welche Verantwortlichkeiten braucht KI-Governance?
Unklare Zuständigkeiten führen zu Verzögerungen und Kontrolllücken. Ein Governance-Modell sollte deshalb eindeutig festlegen, wer informiert, beteiligt und entscheidungsbefugt ist.
Geschäftsführung
Die Unternehmensführung gibt die KI-Strategie, den Risikoappetit und die grundlegenden Leitplanken vor. Sie stellt Ressourcen bereit und trägt die Gesamtverantwortung für eine angemessene Organisation.
AI Governance Board
Ein AI Governance Board ist ein bereichsübergreifendes Entscheidungsgremium. Ihm können Vertreter aus IT, Recht, Datenschutz, Informationssicherheit, Compliance, Risikomanagement, Personal und Fachbereichen angehören.
Das Board entscheidet beispielsweise über:
besonders risikoreiche KI-Anwendungsfälle,
Ausnahmen von Richtlinien,
konzernweite Standards,
Eskalationen und schwerwiegende Vorfälle,
Prioritäten für Governance-Maßnahmen.
KI-Verantwortliche im Fachbereich
Für jeden Anwendungsfall sollte ein fachlicher Owner benannt sein. Diese Person verantwortet Zweck, fachliche Qualität und bestimmungsgemäße Nutzung.
IT und KI-Entwicklung
Technische Teams setzen Anforderungen an Architektur, Sicherheit, Protokollierung, Tests und Wartung um. Sie dokumentieren Modelle und überwachen technische Leistungswerte.
Datenschutz, Recht und Compliance
Diese Funktionen bewerten gesetzliche sowie vertragliche Anforderungen. Sie sollten risikobasiert und frühzeitig eingebunden werden.
Anwender
Auch Nutzer tragen Verantwortung. Sie müssen Grenzen der Systeme kennen, Ergebnisse angemessen prüfen und Vorfälle melden können.
Wie sieht ein sinnvoller Freigabeprozess aus?
Nicht jede KI-Anwendung benötigt dieselbe Prüfintensität. Ein Übersetzungstool für öffentliche Texte besitzt ein anderes Risikoprofil als ein System, das Bewerber vorsortiert.
Ein abgestufter Freigabeprozess kann so aussehen:
Anwendungsfall anmelden: Der Fachbereich beschreibt Zweck, Daten und Nutzer.
Vorprüfung durchführen: Ein kurzer Fragebogen ermittelt erste Risiken.
Risikoklasse festlegen: Das Unternehmen bewertet gesetzliche und interne Kriterien.
Fachprüfungen einleiten: Datenschutz, Sicherheit, Recht oder Arbeitnehmervertretung prüfen nach Bedarf.
Kontrollen definieren: Verantwortliche legen Tests, Freigaben und menschliche Aufsicht fest.
Entscheidung dokumentieren: Eine befugte Stelle genehmigt, begrenzt oder untersagt den Einsatz.
Betrieb überwachen: Das Team kontrolliert Leistung, Risiken und Änderungen.
Anwendung erneut bewerten: Wesentliche Änderungen lösen eine neue Prüfung aus.
Standardisierte End-to-End-Prozesse reduzieren Rückfragen. Gleichzeitig verhindern sie, dass jedes Team eigene Governance-Praktiken entwickelt.
Wie bewertest Du Risiken von KI-Systemen?
Ein Risikomanagement betrachtet nicht nur die Wahrscheinlichkeit eines Fehlers. Es bewertet auch dessen mögliche Auswirkungen auf Menschen, Unternehmen und Umwelt.
Sinnvolle Risikodimensionen sind:
rechtliche und regulatorische Risiken,
Datenschutzrisiken,
Informationssicherheit,
Diskriminierung und Fairness,
fehlerhafte oder irreführende Ergebnisse,
fehlende Erklärbarkeit,
finanzielle Auswirkungen,
Reputationsschäden,
Abhängigkeit von Anbietern,
Beeinträchtigung von Mitarbeitenden oder Kunden,
Energie- und Ressourcenverbrauch.
Ein einfaches Scoring kann Eintrittswahrscheinlichkeit und Schadenshöhe kombinieren. Hochriskante Anwendungsfälle benötigen eine vertiefte Bewertung, dokumentierte Maßnahmen und engere Überwachung.
Wichtig ist auch der Nutzungskontext. Dasselbe Modell kann für die Zusammenfassung eines öffentlichen Dokuments ein geringes Risiko darstellen, bei medizinischen Empfehlungen jedoch erhebliche Folgen haben.
Wie stellst Du Fairness und Nichtdiskriminierung sicher?
KI-Modelle lernen aus Daten. Enthalten diese Daten historische Verzerrungen, kann das Modell sie übernehmen oder verstärken. Besonders relevant ist das bei Entscheidungen über Beschäftigung, Kredite, Versicherungen oder Zugang zu Leistungen.
Geeignete Maßnahmen sind:
Trainings- und Testdaten auf Repräsentativität prüfen,
relevante Gruppen getrennt auswerten,
Fairness-Metriken festlegen,
Ergebnisse durch Fachpersonen kontrollieren,
indirekt diskriminierende Merkmale untersuchen,
Beschwerden und Korrekturen ermöglichen,
Modellleistung nach der Einführung überwachen.
Fairness lässt sich nicht allein technisch lösen. Unterschiedliche Fairness-Kriterien können einander widersprechen. Deshalb müssen Fachbereiche, Datenexperten, Recht und betroffene Stakeholder gemeinsam festlegen, was im jeweiligen Kontext als angemessen gilt.
Warum bleibt menschliche Aufsicht notwendig?
Menschliche Aufsicht bedeutet nicht, dass eine Person jedes KI-Ergebnis mechanisch bestätigt. Eine bloße Bestätigung ohne echte Prüfung schafft keine wirksame Kontrolle.
Aufsicht funktioniert nur, wenn die zuständige Person:
die Funktionsweise und Grenzen des Systems versteht,
genügend Informationen für eine Entscheidung erhält,
Ergebnisse tatsächlich hinterfragen kann,
Zeit für die Prüfung hat,
eine Empfehlung ablehnen oder korrigieren darf,
und einen Vorfall eskalieren kann.
Ein Beispiel aus der Praxis: Ein KI-System priorisiert eingehende Schadensmeldungen. Die Sachbearbeitung sollte erkennen können, warum ein Vorgang niedrig priorisiert wurde. Sie muss die Einstufung ändern können, wenn wichtige Informationen fehlen oder das Ergebnis unplausibel ist.
Welche KI-Richtlinien benötigen Unternehmen?
Eine zentrale KI-Richtlinie beschreibt die grundlegenden Regeln für die Nutzung von KI. Sie sollte verständlich und handlungsorientiert formuliert sein.
Typische Inhalte sind:
zulässige und unzulässige Anwendungen,
Umgang mit vertraulichen Daten,
Regeln für generative KI,
Kennzeichnung von KI-Inhalten,
Anforderungen an menschliche Kontrolle,
Freigabe- und Beschaffungsprozesse,
Dokumentationspflichten,
Sicherheits- und Datenschutzvorgaben,
Meldewege für Fehler und Vorfälle,
Konsequenzen bei Verstößen.
Zusätzlich können spezifische Standards für Entwicklung, Modellvalidierung, Prompt Engineering, Anbieterprüfung oder den Einsatz generativer KI sinnvoll sein.
Richtlinien allein reichen jedoch nicht. Sie müssen in konkrete Prozesse, technische Einstellungen und Schulungen übersetzt werden.
Wie steuerst Du generative KI?
Generative KI erstellt neue Inhalte wie Texte, Bilder, Programmcode oder Audio. Ihre Nutzung bringt besondere Risiken mit sich. Dazu gehören Halluzinationen, unklare Urheberrechte, Prompt Injection und die ungewollte Offenlegung vertraulicher Informationen. Eine Governance für generative KI sollte unter anderem festlegen:
welche Tools freigegeben sind,
welche Daten eingegeben werden dürfen,
wann Ergebnisse geprüft werden müssen,
wie Quellen verifiziert werden,
ob KI-generierte Inhalte gekennzeichnet werden,
wie Code vor der Übernahme getestet wird,
ob Anbieter Eingaben für ihr Training verwenden dürfen,
welche Plug-ins und Schnittstellen zulässig sind.
Für einfache Textentwürfe können schlanke Kontrollen genügen. Werden Ergebnisse dagegen veröffentlicht oder für relevante Entscheidungen verwendet, ist eine verbindliche fachliche Prüfung erforderlich.
Wie prüfst Du externe KI-Anbieter?
Viele Unternehmen entwickeln KI nicht selbst, sondern beziehen Modelle oder Services von Dritten. Die Verantwortung verschwindet dadurch nicht. Vor der Beschaffung solltest Du den Anbieter strukturiert bewerten. Wichtige Fragen sind:
Wo werden Daten gespeichert und verarbeitet?
Nutzt der Anbieter Eingaben zum Modelltraining?
Welche Unterauftragnehmer sind beteiligt?
Welche Sicherheitszertifizierungen liegen vor?
Wie meldet der Anbieter Schwachstellen und Vorfälle?
Welche Dokumentation stellt er zum Modell bereit?
Wie werden Änderungen am Modell angekündigt?
Welche Möglichkeiten für Protokollierung und Löschung gibt es?
Welche Rollen haben Anbieter und Kunde nach dem AI Act?
Lassen sich Daten und Prozesse bei Vertragsende migrieren?
Auch nach Vertragsabschluss ist eine regelmäßige Prüfung erforderlich. Cloudbasierte KI-Modelle können sich ändern, obwohl das Unternehmen selbst keine neue Version installiert.
Wie überwachst Du KI im laufenden Betrieb?
Die Einführung ist nicht das Ende des Governance-Prozesses. Modelle können mit der Zeit an Qualität verlieren. Dieses Phänomen wird als Model Drift bezeichnet. Es entsteht, wenn sich reale Daten oder Zusammenhänge gegenüber der Entwicklungsphase verändern.
Ein Monitoring sollte je nach Anwendungsfall erfassen:
Genauigkeit und Fehlerquoten,
Häufigkeit menschlicher Korrekturen,
Leistungsunterschiede zwischen Gruppen,
auffällige Eingaben und Ausgaben,
Datenschutz- und Sicherheitsvorfälle,
Beschwerden von Nutzern,
Änderungen am Modell oder Anbieter-Service,
Verfügbarkeit und Antwortzeiten,
Nutzung außerhalb des genehmigten Zwecks.
Definiere für jede Kennzahl Schwellenwerte. Wird ein Wert überschritten, muss klar sein, wer prüft und welche Maßnahmen folgen. Diese können von einer zusätzlichen Kontrolle bis zur vorübergehenden Abschaltung reichen.
Was gehört zu einem KI-Vorfallmanagement?
Ein KI-Vorfall kann ein Datenleck, eine diskriminierende Entscheidung, eine systematische Falschausgabe oder eine Manipulation des Modells sein. Bestehende Prozesse für IT- und Datenschutzvorfälle bilden eine gute Grundlage, müssen aber um KI-spezifische Aspekte ergänzt werden.
Ein vollständiger Ablauf umfasst:
Vorfall erkennen und melden
Auswirkungen begrenzen
betroffene Systeme und Daten identifizieren
technische sowie fachliche Ursachen analysieren
interne und gesetzliche Meldepflichten prüfen
Betroffene angemessen informieren
Fehler korrigieren
Kontrollen und Richtlinien anpassen
Erkenntnisse dokumentieren
Mitarbeitende benötigen einen leicht erreichbaren Meldekanal. Wenn unklar ist, ob eine auffällige KI-Ausgabe als Vorfall gilt, sollte eine Meldung trotzdem möglich sein.
Welche KI-Kompetenzen brauchen Mitarbeitende?
Der EU AI Act verlangt von Anbietern und Betreibern Maßnahmen, die ein ausreichendes Maß an KI-Kompetenz bei beteiligten Personen sicherstellen. Die konkrete Schulung sollte sich nach Rolle, Wissen, Einsatzkontext und Risiken richten.
Eine allgemeine Einführung kann folgende Themen abdecken:
grundlegende Funktionsweise künstlicher Intelligenz,
Grenzen und typische Fehler,
Datenschutz und Informationssicherheit,
zulässige KI-Tools,
Prüfung generierter Inhalte,
interne Melde- und Freigabewege.
Entwickler benötigen zusätzlich Kenntnisse zu Datenqualität, Robustheit und Modelltests. Führungskräfte müssen Risiken, Verantwortlichkeiten und regulatorische Folgen verstehen. Personen, die Hochrisiko-Systeme überwachen, brauchen anwendungsbezogene Schulungen. Ein einmaliges E-Learning genügt selten. KI-Technologien, Gesetze und interne Anwendungen entwickeln sich laufend weiter. Damit Deine Mitarbeiter den Umgang mit KI sicher beherschen
Mit welchen Kennzahlen kannst Du KI-Governance messen?
Governance wird erst steuerbar, wenn das Unternehmen geeignete Kennzahlen festlegt. Mögliche Indikatoren sind:
Anteil registrierter KI-Systeme,
Anteil vollständig bewerteter Anwendungsfälle,
durchschnittliche Dauer eines Freigabeprozesses,
Zahl offener Hochrisiko-Maßnahmen,
Anteil geschulter Mitarbeitender,
Zahl gemeldeter KI-Vorfälle,
Häufigkeit menschlicher Korrekturen,
Zahl nicht freigegebener KI-Tools,
Anteil fristgerecht überprüfter Anwendungen,
Zeit bis zur Behebung kritischer Feststellungen.
Kennzahlen dürfen nicht zu falschen Anreizen führen. Eine geringe Zahl gemeldeter Vorfälle kann beispielsweise auch bedeuten, dass Mitarbeitende Probleme nicht erkennen oder nicht melden.
Welche typischen Fehler solltest Du vermeiden?
Häufig kommen wir mit unserer KI-Beratung in Situationen, bei denen Unternehmen bereits versucht haben, KI einzuführen doch spätestens beim Thema Governance an ihre Grenzen gelangen. Zum Teil sind Kunden auf uns zugekommen nachdem sie bereits hohe Bußgelder zahlen mussten. Diese Fehler sehen wir immer wieder:
Fehler #1: Governance wird nur als Rechtsprojekt verstanden
Der Einsatz von KI betrifft Technik, Daten, Prozesse und Menschen. Eine rein juristische Perspektive reicht deshalb nicht.
Fehler #2: Alle Anwendungen durchlaufen denselben Prozess
Ein übermäßig komplexer Prozess bremst risikoarme Anwendungsfälle und fördert Shadow AI. Nutze stattdessen abgestufte Anforderungen.
Fehler #3: Verantwortlichkeiten bleiben abstrakt
Ein Gremium ohne klare Entscheidungsrechte löst keine Probleme. Benenne für jeden Prozess konkrete Rollen und Eskalationswege.
Fehler #4: Das KI-Register wird nicht gepflegt
Ein veraltetes Register vermittelt nur scheinbare Transparenz. Verknüpfe Aktualisierungen mit Beschaffung, Änderungen und regelmäßigen Reviews.
Fehler #5: Dokumentation erfolgt erst nachträglich
Nachträgliche Dokumentation ist fehleranfällig und aufwendig. Integriere sie direkt in Entwicklungs- und Freigabeprozesse.
Fehler #6: Menschliche Kontrolle existiert nur auf dem Papier
Eine Person, die Entscheidungen nicht verstehen oder ändern kann, bietet keine echte Aufsicht.
Welche Best Practices haben sich bewährt?
Eine erfolgreiche KI-Governance orientiert sich an wenigen, konsequent umgesetzten Grundsätzen:
Risikobasiert handeln: Je größer die mögliche Auswirkung, desto strenger die Kontrolle.
Bestehende Strukturen nutzen: Datenschutz, IT-Sicherheit und Einkauf nicht doppelt aufbauen.
Früh prüfen: Governance bereits bei der Idee und nicht erst vor dem Go-live einbeziehen.
Verantwortung eindeutig zuweisen: Jeder Anwendungsfall benötigt einen fachlichen Owner.
Transparenz zentral herstellen: Alle KI-Systeme in einem KI-Register erfassen.
Kontrollen automatisieren: Prüfungen in Entwicklungs- und Beschaffungsprozesse integrieren.
Nutzer einbeziehen: Rückmeldungen und Beschwerden systematisch auswerten.
Regelmäßig aktualisieren: Modelle, Risiken, Anforderungen und Gesetze verändern sich.
Pragmatisch starten: Ein funktionsfähiges Mindestmodell ist besser als ein perfektes Framework, das nie umgesetzt wird.
Praxisbeispiel: KI-Governance im Personalbereich
Ein Unternehmen möchte generative KI nutzen, um Stellenanzeigen zu formulieren und Bewerbungsunterlagen zusammenzufassen.
Zunächst trennt es die Anwendungsfälle:
Das Erstellen eines ersten Textentwurfs für eine Stellenanzeige ist vergleichsweise risikoarm, sofern eine Fachperson den Text prüft. Die automatisierte Bewertung oder Rangfolge von Bewerbern kann dagegen unter die Hochrisiko-Vorschriften des AI Act fallen und berührt sensible Fragen der Fairness und des Datenschutzes.
Das Unternehmen legt deshalb fest:
Bewerberdaten dürfen nur in freigegebenen Systemen verarbeitet werden.
Das Modell darf keine endgültige Einstellungsentscheidung treffen.
Kriterien und Ergebnisse werden dokumentiert.
HR-Mitarbeitende prüfen jede Empfehlung.
Das System wird auf Benachteiligungen untersucht.
Bewerber erhalten erforderliche Informationen über den KI-Einsatz.
Änderungen am Modell lösen eine erneute Bewertung aus.
Das Beispiel zeigt: Nicht die Technologie allein bestimmt das Risiko. Entscheidend sind Zweck, Daten, Auswirkungen und Grad der menschlichen Kontrolle.
Wie bleibt ein Unternehmen trotz KI-Governance handlungsfähig?
Governance scheitert häufig an zu vielen manuellen Freigaben. Ziel sollte deshalb „Governance by Design“ sein. Anforderungen werden dabei unmittelbar in technische und organisatorische Abläufe eingebaut.
Ein Beispiel: Bei der Bestellung eines neuen Software-Services fragt der Einkaufsworkflow automatisch ab, ob das Produkt KI-Funktionen enthält. Wird die Frage bejaht, entsteht ein Eintrag im KI-Register und die risikobasierte Prüfung startet. Der Fachbereich muss keinen separaten Prozess suchen.
Ähnlich lassen sich Kontrollen in Entwicklungsplattformen integrieren. Modellkarten, Testergebnisse und Freigaben können Bestandteil der Continuous-Integration-Pipeline werden. So verbindet sich Governance mit dem Arbeitsalltag, statt als nachträgliche Zusatzaufgabe wahrgenommen zu werden.
KI-Governance schafft verlässliche Leitplanken
KI-Governance steuert den sicheren, ethischen und gesetzeskonformen Einsatz künstlicher Intelligenz. Sie umfasst weit mehr als eine einzelne Richtlinie. Unternehmen benötigen ein abgestimmtes System aus Verantwortlichkeiten, Risikoklassifizierung, KI-Register, Freigabeprozessen, technischen Kontrollen und laufender Überwachung.
Der EU AI Act erhöht den Handlungsdruck. Gleichzeitig sollte Governance nicht nur als Compliance-Aufgabe verstanden werden. Klare Leitplanken beschleunigen verantwortungsvolle KI-Initiativen, weil Teams Anforderungen und Entscheidungswege bereits zu Beginn kennen.
Starte mit einer Bestandsaufnahme, erfasse Deine KI-Systeme und priorisiere Anwendungsfälle mit hohen Auswirkungen. Entwickle das KI Governance Framework anschließend schrittweise weiter. So bleibt Dein Unternehmen handlungsfähig, ohne Risiken, Datenschutz oder menschliche Verantwortung aus dem Blick zu verlieren.
Bist Du Dir unsicher wie und wo Du mit KI starten sollst? Komm auf uns zu und wir stellen Dir unsere Experten zur Seite! Mit unseren Erfahrungen aus zahlreichen KI Beratungen stellen wir sicher, dass Du KI konform einsetzt!
FAQ: Häufige Fragen zu KI-Governance
KI-Governance umfasst alle Regeln, Rollen und Kontrollen, mit denen ein Unternehmen künstliche Intelligenz steuert. Sie legt unter anderem fest, welche Systeme eingesetzt werden dürfen, wer sie verantwortet und wie Risiken überwacht werden.
Es gibt keine allgemeine Pflicht, ein System mit dem Namen „KI-Governance“ einzuführen. Der EU AI Act und andere Gesetze verlangen jedoch zahlreiche organisatorische und technische Maßnahmen. Ein Governance Framework hilft, diese Anforderungen strukturiert umzusetzen.
Der AI Act kann für Anbieter, Betreiber, Importeure und Händler von KI-Systemen relevant sein. Er besitzt außerdem eine extraterritoriale Wirkung. Unter bestimmten Voraussetzungen können deshalb auch Unternehmen außerhalb der EU betroffen sein.
Ein KI-Register ist ein zentrales Verzeichnis aller KI-Systeme und KI-Anwendungsfälle eines Unternehmens. Es dokumentiert unter anderem Zweck, Verantwortliche, Daten, Anbieter, Risikoklasse und Prüfstatus.
Die Gesamtverantwortung liegt bei der Unternehmensführung. Die operative Umsetzung verteilt sich typischerweise auf Fachbereiche, IT, KI-Entwicklung, Datenschutz, Recht, Compliance, Informationssicherheit und Risikomanagement. Jeder Anwendungsfall sollte einen eindeutig benannten Owner haben.
Nicht zwingend. Ein kleines Unternehmen kann Zuständigkeiten in einem bestehenden Gremium bündeln. Größere oder stark regulierte Organisationen profitieren häufig von einem bereichsübergreifenden AI Governance Board mit klaren Entscheidungsrechten.
KI-Compliance konzentriert sich auf die Einhaltung gesetzlicher, vertraglicher und interner Anforderungen. KI-Governance ist breiter. Sie umfasst zusätzlich Strategie, Verantwortlichkeiten, Risikomanagement, technische Steuerung und die laufende Überwachung.
Das Intervall hängt vom Risiko ab. Hochriskante oder häufig veränderte Systeme benötigen engere Kontrollen. Zusätzlich sollte eine neue Prüfung stattfinden, wenn sich Modell, Anbieter, Daten, Zweck oder betroffene Nutzergruppen wesentlich ändern.
Das hängt vom Tool, dem Vertrag und der Art der Daten ab. Vertrauliche oder personenbezogene Informationen sollten nur in ausdrücklich freigegebene Systeme eingegeben werden. Vorher sind Datenschutz, Sicherheit, Speicherort und mögliche Verwendung der Eingaben zum Modelltraining zu prüfen.
Shadow AI bezeichnet KI-Anwendungen, die Mitarbeitende ohne offizielle Freigabe oder Kenntnis der zuständigen Stellen nutzen. Sie kann zu Datenlecks, Compliance-Verstößen und unkontrollierten Abhängigkeiten von Anbietern führen.
Wichtige Orientierung bieten ISO/IEC 42001 für KI-Managementsysteme, ISO/IEC 23894 für KI-Risikomanagement und das NIST AI Risk Management Framework. Unternehmen sollten diese Ansätze an ihre konkrete Organisation und ihre gesetzlichen Anforderungen anpassen.
Beginne mit einer Bestandsaufnahme. Ermittle, welche KI-Anwendungen bereits eingesetzt oder geplant werden, wer sie verantwortet und welche Daten sie verarbeiten. Auf dieser Grundlage kannst Du Risiken priorisieren und geeignete Governance-Strukturen aufbauen.
