AI Act: Wie wirkt sich die EU-KI-Verordnung auf Unternehmen aus?
Wo die EU mit dem AI Act Sicherheit und Transparenz für ihre Bürger schaffen will, sind Unternehmen zunehmend verunsichert, welche rechtlichen Pflichten sich aus dem KI-Gesetz für sie ergeben. Eines steht fest: KI ist längst im Firmenalltag angekommen.
Wie Du KI rechtssicher im Sinne des EU-AI-Acts, in Deinem Unternehmen einsetzt und welche Konsequenzen bei Nichteinhaltung drohen, klären wir für Dich ausführlich in diesem Beitrag.
Was sind die Grundlagen der EU-KI-Verordnung?
Die Verordnung über künstliche Intelligenz [VO(EU) 2024/1689], umgangssprachlich als EU-AI-Act (dt. auch KI-Verordnung) bekannt, ist das weltweit erste, umfassende Regelwerk für künstliche Intelligenz. Die Verordnung gilt unmittelbar für alle EU-Mitgliedstaaten und bedarf keiner Umsetzung in nationales Recht.
Tatsächlich ist der EU AI-Act bereits am 01. August 2024 in Kraft getreten. Die Anwendbarkeit der für Unternehmen relevante Regelungsinhalte tritt seit Februar 2025 allmählich ein. Der aktuelle Zeitplan für die Umsetzung des EU-KI-Gesetzes der Europäischen Kommission sieht die vollständige Einführung bis zum 02. August 2027 vor.
Ziel der Verordnung ist es, KI-Systeme grundrechtskonform, sicher und transparent zu gestalten. Gleichzeitig soll auch Innovation am Binnenmarkt gefördert werden.
Kern des AI-Acts ist dabei einerseits die risikobasierte Klassifizierung von KI-Systemen, wobei ein generelles Verbot inakzeptabler KI-Praktiken (Art. 5 KI-Verordnung) ausgesprochen wird. Andererseits beinhaltet der AI-Act die Unterscheidung zwischen Anbietern und Betreibern dieser KI-Systeme und die Auferlegung entsprechender Pflichten. Eine verständliche Übersicht der Pflichten aus dem EU AI-Act und für wen diese ab wann gelten, haben wir hier für Dich zusammengestellt:
Was sich hinter den Pflichten genau verbirgt, erläutern wir für Dich unter dem Punkt "Pflichten des AI-Acts ausführlich".
Für einige Anbieter und Betreiber werden besondere Fristen im AI-Act gesetzt. Betroffen sind:
Bestandssysteme in Behörden: Anbieter und Betreiber von Hochrisiko-KI-Systemen, die bereits vor August 2026 von Behörden genutzt wurden, müssen die Anforderungen bis zum 2. August 2030 erfüllen (Ausnahme des Art. 113 Abs. 2 S. 2 KI-Verordnung).
GPAI-Modelle im Markt: Anbieter von GPAI-Modellen (General Purpose KI-Modelle/ Modelle für allgemeine Verwendungszwecke), die bereits vor dem 2. August 2025 in Verkehr gebracht wurden, haben bis zum 2. August 2027 Zeit, die Konformität herzustellen (Ausnahme des Art. 113 Abs. 3 KI-Verordnung).
IT-Großsysteme: KI-Komponenten in IT-Großsystemen (z. B. Schengener Informationssystem) müssen bis zum 31. Dezember 2030 mit der Verordnung in Einklang gebracht werden (Ausnahme des Art. 111 Abs. 1 KI-Verordnung).
Wichtig: Diese abweichenden Fristen gelten nicht für das Verbot inakzeptabler KI-Praktiken des Art. 5 KI-Verordnung.
Wie unterscheidet der EU-AI-Act Anbieter, Betreiber?
Um zu ermitteln, welche Pflichten des AI-Acts für Dich gelten, muss im ersten Schritt geklärt werden, ob Dein Unternehmen Anbieter oder Betreiber ist und welcher Risikoklasse die von Euch eingesetzten KI-Systeme angehören.
Ist Dein Unternehmen Anbieter oder Betreiber?
Um herauszufinden, welche Pflichten sich aus der EU-KI-Verordnung konkret für Dein Unternehmen ergeben, musst Du im ersten Schritt bestimmen, ob Dein Unternehmen Anbieter oder Betreiber im Sinne des AI-Acts ist.
Anbieter sind…
„Anbieter“ tragen die Hauptverantwortung dafür, dass das KI-System die Anforderungen der Verordnung erfüllt, insbesondere bei Hochrisiko-KI-Systemen.
Definition nach AI-Act: Anbieter (im engl. Gesetzestext Providers) sind lt. Art. 3 Nr. 3 KI-Verordnung natürliche oder juristische Personen, Behörden, Einrichtungen oder sonstige Stellen, die ein KI-System (oder ein KI-Modell mit allgemeinem Verwendungszweck) entwickeln oder entwickeln lassen und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringen oder das KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nehmen. Dies gilt unabhängig davon, ob die Bereitstellung entgeltlich oder unentgeltlich erfolgt.
Dein Unternehmen ist also Anbieter von KI-Systemen i.S.d. KI-Verordnung, wenn diese vier Punkte zutreffen:
Dein Unternehmen muss eine natürliche oder juristische Person, eine Einrichtung oder sonstige Stelle sein (auch Behörden werden eingeschlossen)
Dein Unternehmen entwickelt ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck oder lässt dieses entwickeln
Definition KI-System aus Art. 3 Nr. 1
Ein KI-System ist ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann. Es leitet aus den erhaltenen Eingaben für explizite oder implizite Ziele ab, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können.
Definition KI-Modell mit allgemeinem Verwendungszweck (engl. General-Purpose AI Model, kurz GPAI) aus Art. 3 Nr. 63
Ein KI-Modell — einschließlich der Fälle, in denen es mit einer großen Datenmenge unter umfassender Selbstüberwachung trainiert wird —, das eine erhebliche allgemeine Verwendbarkeit aufweist und in der Lage ist, unabhängig von der Art und Weise seines Inverkehrbringens ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen. Zudem zeichnet es sich dadurch aus, dass es in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann.
Abgrenzung KI-System und GPAI
Ein GPAI-Modell stellt für sich genommen noch kein KI-System dar, sondern ist oft dessen wesentliche Komponente. Damit ein Modell zu einem System wird, müssen weitere Komponenten wie eine Nutzerschnittstelle hinzugefügt werden.
Dein Unternehmen bringt das KI-System oder - Modell unter eigenem Namen oder Handelsmarke in Verkehr
Definition „Inverkehrbringen“ aus Art. 3 Nr. 9
Es handelt sich dabei um die erstmalige Bereitstellung eines KI-Systems oder eines KI-Modells mit allgemeinem Verwendungszweck auf dem Unionsmarkt.
Auf die Entgeltlichkeit oder Unentgeltlichkeit kommt es nicht an.
Wusstest Du schon?
Der AI Act übernimmt zentrale Definitionen direkt aus der DSGVO, um Kohärenz zu gewährleisten. Dazu gehören Begriffe wie:
Personenbezogene Daten
Nicht personenbezogene Daten
Biometrische Daten
Besondere Kategorien personenbezogener Daten (sensible Daten)
Profiling
Weiterhin stellt der AI Act klar, dass das Grundrecht auf Schutz personenbezogener Daten weiterhin uneingeschränkt durch die DSGVO und andere relevante Rechtsakte gewahrt wird.
Beispiele für Anbieter können sein:
Ein Technologieunternehmen: Ein Unternehmen, das eine Software zur KI-gestützten Analyse von Bilddaten (z. B. Schadensbildern) entwickelt und diese unter seinem Markennamen an Versicherer und Energieversorger verkauft.
Eine öffentliche Behörde: Eine staatliche Stelle, die ein KI-System zur automatisierten Bewertung von Anträgen auf Sozialleistungen entwickeln lässt. und dieses System für ihre internen Verwaltungsprozesse in Betrieb nimmt.
Ein Unternehmen, das bestehende Systeme umbrandet: Ein Händler oder Importeur, der ein bereits existierendes Hochrisiko-KI-System eines anderen Herstellers nimmt, es mit seinem eigenen Namen oder seiner Handelsmarke versieht und es so auf dem Unionsmarkt bereitstellt.
Ein Akteur, der wesentliche Veränderungen vornimmt: Jemand, der eine „wesentliche Veränderung“ an einem bereits in Verkehr gebrachten Hochrisiko-KI-System vornimmt, sodass es weiterhin als Hochrisiko-System gilt, übernimmt für dieses System die Rolle und die Pflichten des Anbieters
Umwidmende Stellen: Eine Person oder ein Unternehmen, das die Zweckbestimmung eines KI-Systems (auch eines Systems mit allgemeinem Verwendungszweck) so ändert, dass es rechtlich als Hochrisiko-KI-System eingestuft werden muss.
Produkthersteller als Anbieter: Ein Hersteller (beispielsweise von Aufzügen oder Industriemaschinen), der ein KI-System als Sicherheitsbauteil in sein Produkt integriert und das fertige Produkt unter seinem Namen in Verkehr bringt.
Betreiber sind…
Der Betreiber unterscheidet sich vom Anbieter dadurch, dass er das KI-System nicht selbst entwickelt, sondern es für seine spezifischen beruflichen Zwecke nutzt und dabei die Kontrolle über die Eingabedaten hat.
Definition nach AI-Act: Betreiber (im engl. Gesetzestext Deployer) sind lt. Art. 3 Nr. 4 KI-Verordnung natürliche oder juristische Person, einschließlich Behörden, Einrichtungen oder sonstiger Stellen, die ein KI-System in eigener Verantwortung verwendet. Eine Ausnahme besteht dann, wenn das System im Rahmen einer rein persönlichen und nicht beruflichen Tätigkeit genutzt wird.
Dein Unternehmen ist also Betreiber von KI-Systemen i.S.d. KI-Verordnung, wenn diese zwei Punkte zutreffen:
Dein Unternehmen muss eine natürliche oder juristische Person, eine Einrichtung oder sonstige Stelle sein (auch Behörden werden eingeschlossen)
In Deinem Unternehmen werden KI-Systeme für die gewerbliche Tätigkeit und nicht für den Privatgebrauch der Mitarbeitenden eingesetzt.
Beispiele für Betreiber können sein:
Banken und Versicherungen: Finanzinstitute, die KI-Systeme zur Bewertung der Kreditwürdigkeit von Personen oder zur Risikobewertung in der Kranken- und Lebensversicherung einsetzen.
Öffentliche Behörden: Staatliche Stellen oder Organe der Union, die KI-Systeme beispielsweise zur Prüfung von Anträgen auf Sozialleistungen oder im Bereich der Grenzkontrolle in Betrieb nehmen.
Arbeitgeber: Unternehmen, die KI-Systeme am Arbeitsplatz verwenden, etwa zur Überwachung der Leistung ihrer Angestellten oder zur Zuweisung von Arbeitsaufgaben.
Bildungseinrichtungen: Schulen oder Universitäten, die KI-Systeme zur Bewertung von Lernergebnissen oder zur Überwachung von Schülern während Prüfungen einsetzen.
Notfalldienste: Organisationen, die KI zur Bewertung und Priorisierung von Notrufen (z. B. bei Feuerwehr oder Polizei) verwenden.
Gelten die Regeln des EU AI-Acts auch für Privatpersonen?
Nein, solange ein KI-System ausschließlich für persönliche und NICHT für berufliche Tätigkeiten genutzt wird, gelten die Regeln des AI-Acts nicht für Privatpersonen.
Erwägungsgrund 13 der KI-Verordnung bekräftigt, dass die Verwendung von KI-Systemen unter der Befugnis einer Person nicht als „Betreiber“ im Sinne der Verordnung gilt, wenn dies im privaten, nicht gewerblichen Rahmen geschieht.
Eine natürliche Person (also eine Privatperson) kann zwar rechtlich als „Anbieter“ eingestuft werden, in einem solchen Fall handelt die Person jedoch in der Regel nicht mehr rein privat, sondern tritt als Akteur am Markt auf.
Was ist die Risiko-Pyramide?
Die Risiko-Pyramide ist das zentrale und bekannteste Element des AI Acts. Sie spiegelt den risikobasierten Ansatz der Verordnung wider, bei dem die Intensität der Regulierung linear mit der potenziellen Gefahr ansteigt, die von einem KI-System für Gesundheit, Sicherheit und Grundrechte ausgeht.
Die Risiko-Pyramide wird in vier Hauptstufen unterteilt:
Unannehmbares Risiko (Verbotene Praktiken nach Art. 5 KI-Verordnung)
Hohes Risiko (Hochrisiko-KI-Systeme)
Geringes Risiko/ Spezifisches Transparenzrisiko
Minimales Risiko
Unannehmbares Risiko (Verbotene Praktiken nach Art. 5 KI-Verordnung)
An der Spitze der Pyramide stehen KI-Praktiken, die als so gefährlich eingestuft werden, dass sie in der Union grundsätzlich verboten sind. Diese Systeme verstoßen gegen die Werte der Union und die Menschenwürde.
Beispiele: KI-gestützte unterschwellige Manipulation von Personen, die Ausnutzung von Schutzbedürftigkeit (z. B. aufgrund des Alters oder einer Behinderung), „Social Scoring“ durch Behörden sowie bestimmte Formen der biometrischen Fernidentifizierung in Echtzeit zu Strafverfolgungszwecken im öffentlichen Raum
Hohes Risiko (Hochrisiko-KI-Systeme)
Diese Stufe umfasst Systeme, die erhebliche nachteilige Auswirkungen auf die Sicherheit oder die Grundrechte haben können. Sie unterliegen strengen Auflagen (Siehe 3.3 und 3.5).
Ein System gilt als hochriskant, wenn es entweder als Sicherheitsbauteil in Produkten verbaut ist, die einer Konformitätsbewertung durch Dritte unterliegen (z. B. Maschinen oder Spielzeug), oder wenn es in spezifischen, in Anhang III des AI-Acts genannten Bereichen eingesetzt wird.
Beispiele: Einsatz in kritischen Infrastrukturen, allgemeiner und beruflicher Bildung, Beschäftigung und Personalmanagement (z.B. filtern von Lebensläufen), Zugang zu wesentlichen privaten und öffentlichen Dienstleistungen (z. B. Kreditwürdigkeits-/ Bonitätsprüfung) sowie biometrische Erkennung zur Strafverfolgung und Migration
Hochrisiko-KI-Systeme sind nicht verboten, dürfen aber nur in Verkehr gebracht werden, wenn sie strenge verbindliche Anforderungen erfüllen.
Geringes Risiko/ Spezifisches Transparenzrisiko
Bestimmte KI-Systeme unterliegen besonderen Transparenzpflichten, unabhängig davon, ob sie als hochriskant eingestuft werden. Ziel ist es dabei, eine Täuschung der Nutzer zu verhindern.
Beispiele: Nutzer interagieren mit einer KI (z. B. Chatbots), durch KI erzeugte oder manipulierte Inhalte (Deepfakes), synthetische Texte, die die Öffentlichkeit über Themen von allgemeinem Interesse informieren
Minimales Risiko
Hierbei handelt es sich um die große Mehrheit der KI-Systeme, die derzeit verwendet werden (z. B. KI-gestützte Videospiele oder Spam-Filter). Diese Systeme unterliegen keinen spezifischen Anforderungen durch den AI Act.
Die Anbieter werden jedoch ausdrücklich dazu ermutigt, freiwillig Verhaltenskodizes (Codes of Conduct) zu erstellen, um beispielsweise Aspekte der ökologischen Nachhaltigkeit oder der Barrierefreiheit zu berücksichtigen.
Sonderkategorie: KI-Modelle mit allgemeinem Verwendungszweck (GPAI)
Zusätzlich zu dieser Pyramide führt die Verordnung Regeln für GPAI-Modelle ein, wobei Modelle mit systemischem Risiko (die aufgrund ihrer hohen Rechenleistung besonders leistungsfähig sind) zusätzlichen Pflichten zur Risikobewertung und Cybersicherheit unterliegen.
Welche Pflichten ergeben sich aus dem AI-Act für Unternehmen?
Nachdem Du eingeordnet hast, ob Dein Unternehmen Anbieter und/oder Betreiber ist und welcher Risikoklasse euer KI-System angehört, kannst du anhand der eingangs dargestellten Übersicht einfach ermitteln welche Pflichten für Dich gelten. Was genau hinter diesen steckt, zeigen wir Dir im Folgenden.
Wiederholung: Inakzeptable KI-Praktiken sind grundsätzlich verboten!
Artikel 5 legt KI-Praktiken fest, die aufgrund ihres unannehmbaren Risikos für Grundrechte und Unionswerte grundsätzlich verboten sind.
Dazu gehören insbesondere manipulative Techniken, die Ausnutzung von Schutzbedürftigkeit (z. B. aufgrund von Alter oder Behinderung), staatliches Social Scoring sowie das ungezielte Auslesen von Gesichtsbildern für Datenbanken.
Ebenfalls untersagt sind Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen sowie die biometrische Echtzeit-Fernidentifizierung im öffentlichen Raum, wobei für Letztere eng definierte Ausnahmen zur Strafverfolgung bestehen.
Pflicht #1: Pflicht zur Förderung der KI-Kompetenz
Die KI-Verordnung legt in Art. 4 spezifische Anforderungen zur Förderung der KI-Kompetenz (AI literacy) fest.
Für wen gilt die KI-Schulungspflicht?
Die Pflicht richtet sich sowohl an Anbieter als auch an Betreiber von KI-Systemen. Sie müssen sicherstellen, dass ihr Personal und andere Personen, die in ihrem Auftrag mit dem Betrieb und der Nutzung von KI-Systemen befasst sind, ausreichend geschult sind.
Die Schulungspflicht gilt allgemein für den Umgang mit KI-Systemen. Da Artikel 4 zu den allgemeinen Bestimmungen (Kapitel I) gehört, ist diese Pflicht nicht nur auf Hochrisiko-KI-Systeme beschränkt, sondern gilt für den Einsatz von KI-Systemen im beruflichen Kontext generell.
Was sind die Anforderungen an die KI-Kompetenz-Förderung?
Anbieter und Betreiber müssen Maßnahmen ergreifen, um ein „ausreichendes Maß“ an KI-Kompetenz zu vermitteln. Dabei müssen folgende Faktoren berücksichtigt werden:
vorhandene technischen Kenntnisse und die Erfahrung des Personals
notwendige Ausbildung und Schulung
Kontext, in dem die KI-Systeme eingesetzt werden
Personen oder Gruppen, auf die die KI-Systeme angewandt werden sollen
Das Ziel ist es, dass die Beteiligten KI-Systeme sachkundig einsetzen und sich der Chancen, Risiken und potenziellen Schäden bewusst sind
Pflicht #2:Transparenzpflichten
Insbesondere Marketingabteilungen müssen seit dem 02. August 2026 bei KI-Inhalten genau hinschauen. Die Transparenzpflichten aus Art. 50 des EU-AI-Acts geben allen Unternehmen neue Transparenz- und Kennzeichnungspflichten für KI-Inhalte vor.
Wer muss die Transparenzpflichten umsetzen?
Die Pflichten richten sich je nach Anwendungsfall an Anbieter und/oder Betreiber von KI-Systemen gleichermaßen. Personen, die KI-Systeme privat einsetzen, unterliegen nicht den Transparenzpflichten.
Was muss gekennzeichnet werden?
Es muss offengelegt werden, wenn Inhalte oder Interaktionen einen künstlichen Ursprung haben. Das betrifft:
Die KI interagiert direkt mit Menschen.
Personen müssen informiert werden, dass sie mit einem KI-System interagieren (außer, wenn dies offensichtlich ist).KI wird zur Generierung synthetischer Inhalte eingesetzt.
Audio-, Bild-, Video- oder Textausgaben müssen als künstlich erzeugt oder manipuliert erkennbar sein.KI wird zur Erkennung von Emotionen oder zur biometrischen Klassifizierung eingesetzt.
Betroffene müssen über den Betrieb von Emotionserkennungs- oder biometrischen Kategorisierungssystemen informiert werden.Es werden durch KI Deepfakes erstellt.
Es muss offengelegt werden, wenn Inhalte (Bild, Ton, Video) vorliegen, die künstlich erzeugt oder manipuliert wurden und realen Personen oder Orten täuschend echt ähneln (sog. Deepfakes).
„Real“ beschränkt sich hier nicht auf die tatsächliche Existenz, sondern mein alles, was so wirkt als könnte es in der Realität so existieren. Der Deepfake muss also nur aussehen wie ein echter Mensch oder Ort und keinen echten Menschen oder Ort darstellen.
Es kommt auch nicht darauf an, ob eine Täuschungsabsicht besteht, sondern, ob das Ergebnis geeignet ist den Konsumenten der Inhalte zu täuschen.Es werden Texte zu Themen von öffentlichem Interesse veröffentlicht.
KI-generierte Texte zu Themen von allgemeinem Interesse (z.B. (Politik, Verbraucherfragen) müssen außerdem als solche deklariert werden. Die Kennzeichnung von Öffentlichen Informationstexten ist allerdings nicht erforderlich, wenn diese einer menschlichen Überprüfung oder redaktionellen Kontrolle unterlagen.
Werbetexte, Produktbeschreibung, E-Mails o.ä. sind keine Texte zu Themen von allgemeinem Interesse. Hier ist keine Kennzeichnung nötig.
Wie muss gekennzeichnet werden?
Die Verordnung macht einige Vorgaben zur Art und Weise der Kennzeichnung, die durch den Leitfaden zur Kennzeichnung KI-generierter Inhalte der Wettbewerbszentrale und dem Verhaltenskodex für die Transparenz von KI-generierten Inhalten der Europäischen Kommission ergänzt werden. Beachtet werden muss:
Der Zeitpunkt der Kennzeichnung: Die Information muss spätestens zum Zeitpunkt des ersten Kontakts mit dem Inhalt erfolgen.
Das Format: Informationen müssen in klarer und sichtbarer Weise bereitgestellt werden.
Ein einheitliches, verbindliches Symbol zur Kennzeichnung hat die EU-Kommission nicht vorgegeben. Daher kann ein eigenes Label z.B. “KI-generiert“ (AI-generated) für vollständig generierte Inhalte oder „KI-modifiziert“ (AI-modified) für veränderte Inhalte für die Kennzeichnung gewählt werden. Auf einigen Social-Media-Plattformen (z.B. YouTube) ist es möglich, den KI-generierten Inhalt über die Funktionen der Upload-Studios zu kennzeichnen.
Die Kennzeichnung muss deutlich und unmittelbar im Inhalt platziert werden (z.B. Ecke des Bildes oder Videos, bei Videos Hinweis auf KI-Generierung am Anfang jeder KI-generierten Sequenz oder bei Audiobeiträgen durch einen hörbaren Disclaimer zu Beginn).
ACHTUNG: Die KI-Kennzeichnung ist eine zusätzliche Pflicht!
Urheber- und Persönlichkeitsrechte können mit den Inhalten immer noch verletzt werden. Nur weil Inhalt KI-generiert ist, dürfen existente Personen oder Charaktere NICHT frei genutzt werden.
Die Maschinenlesbarkeit: Bei synthetischen Inhalten muss die Kennzeichnung in einem maschinenlesbaren Format erfolgen (z. B. durch Wasserzeichen oder Metadaten), sofern dies technisch möglich ist. Diese Kennzeichnung übernehmen die Anbieter der KI-Systeme. Anthropic hat bereits angekündigt, wie diese Kennzeichnungspflicht in kommenden Claude-Modellen implementiert werden soll. Spätestens bis zum 02. Dezember 2026 muss die KI-Kennzeichnung bei allen Modellen erfolgen, auch bei denjenigen, die vor dem 02. August 2026 auf den Markt gekommen sind.
Welche spezielle Pflichten gelten für Betreiber von Hochrisiko-KI-Systemen
Die Artikel 26 und 27 der KI-Verordnung (EU) 2024/1689 legen die spezifischen Pflichten für Betreiber (im Englischen „deployers“) von Hochrisiko-KI-Systemen fest. Während sich Artikel 26 auf die allgemeinen Betriebspflichten konzentriert, regelt Artikel 27 die Durchführung einer Grundrechte-Folgenabschätzung für bestimmte Akteure.
Für wen Gelten die Art. 26 und 27?
Artikel 26 gilt für alle Betreiber von Hochrisiko-KI-Systemen (natürliche oder juristische Personen, Behörden oder sonstige Stellen), die ein solches System in eigener Verantwortung im beruflichen Kontext verwenden
Artikel 27 gilt für einen eingeschränkten Kreis von Betreibern, nämlich öffentliche Stellen, private Einrichtungen, die öffentliche Dienste erbringen (z. B. in den Bereichen Bildung oder Sozialdienste), sowie Betreiber von Systemen zur Kreditwürdigkeitsprüfung oder zur Risikobewertung bei Lebens- und Krankenversicherungen
Pflichten nach Art. 26 KI-Verordnung: Betrieb von Hochrisiko-KI-Systemen
Diese Pflichten sollen sicherstellen, dass die Sicherheit und die Grundrechte während der tatsächlichen Nutzung des Systems gewahrt bleiben.
Beispiele für Art. 26
Ein Arbeitgeber, der ein KI-System zur Bewertung von Bewerbern einsetzt, muss den Betriebsrat informieren und sicherstellen, dass geschultes HR-Personal die Ergebnisse überprüft, statt sich blind auf die KI zu verlassen.
Eine Bank, die KI für Kreditentscheidungen nutzt, muss sicherstellen, dass die verwendeten Kundendaten repräsentativ sind und die Systemprotokolle für mögliche spätere Prüfungen aufbewahren.
Pflichten nach Art. 27 KI-Verordnung: Grundrechte-Folgenabschätzung (FRIA)
Diese Pflicht ergänzt die Pflichten des Anbieters und fokussiert sich auf den spezifischen Nutzungskontext.
Was umfasst die Pflicht? Betreiber müssen vor der ersten Inbetriebnahme eine umfassende Bewertung der Auswirkungen auf die Grundrechte nach Art. 27 Abs. 1 lit. a-f, Abs. 3-5 durchführen. Diese Abschätzung muss beinhalten:
Beschreibung der Verfahren: Darlegung, wie das System im konkreten Prozess eingesetzt wird
Zeitliche Planung: Beschreibung von Zeitraum und Häufigkeit der Nutzung
Kategorisierung der Betroffenen: Identifizierung der Gruppen von Personen, die durch das System beeinflusst werden könnten
Risikoanalyse: Ermittlung spezifischer Schadensrisiken für Grundrechte (z. B. Diskriminierungsgefahren) unter Nutzung der Informationen aus der Betriebsanleitung des Anbieters
Festlegung von Abhilfemaßnahmen: Planung von Schritten, die bei Eintreten der Risiken ergriffen werden (z. B. Beschwerdemechanismen oder spezifische Aufsichtsregelungen)
Meldung: Die Ergebnisse müssen der Marktüberwachungsbehörde mitgeteilt werden (das KI-Büro stellt hierfür ein Muster zur Verfügung)
Beispiele für Art. 27
Eine Stadtverwaltung, die ein KI-System zur automatisierten Zuweisung von Kitaplätzen oder Sozialleistungen einführt, muss vorab prüfen, ob bestimmte Bevölkerungsgruppen durch die Algorithmen benachteiligt werden könnten.
Ein Versicherungsunternehmen, das KI zur Risikobewertung in der Krankenversicherung nutzt, muss dokumentieren, welche Maßnahmen es gegen eine mögliche finanzielle Ausgrenzung schutzbedürftiger Personen trifft.
Was sind spezielle Pflichten für Anbieter von GPAI?
Was ist GPAI? Was ist die Rechtsgrundlage? Gelten für wen? Gelten ab wann?
Was umfassen die Pflichten? Welche Maßnahmen müssen für jede Pflicht zur Einhaltung ergriffen werden. Was sind Beispiele?
Der AI-Act legt in Kapitel V (Artikel 51 bis 56) spezifische Anforderungen für KI-Modelle mit allgemeinem Verwendungszweck (General-Purpose AI, kurz GPAI) fest, da diese eine Schlüsselrolle in der KI-Wertschöpfungskette einnehmen.
WIEDERHOLUNG: Was ist GPAI?
Ein KI-Modell mit allgemeinem Verwendungszweck (GPAI) ist ein Modell, das eine erhebliche allgemeine Verwendbarkeit aufweist und in der Lage ist, unabhängig von der Art seines Inverkehrbringens ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen.
Typische Beispiele sind große generative Modelle, die flexibel Texte, Bilder, Audio- oder Videoinhalte erzeugen können.
Die Vorschriften für GPAI-Modelle sind am 2. August 2025 für Modelle, die neu in den Markt eingeführt werden, in Kraft getreten. Anbieter von Modellen, die bereits vor dem 2. August 2025 auf dem Markt waren, haben bis zum 2. August 2027 Zeit, die Konformität herzustellen.
Tipp: Das AI-Office stellt regelmäßig neue Dokumente und Leitfäden zur Verfügung, an denen sich Anbieter orientieren können, um eine Konformitätsvermutung zu begründen.
Wesentliche Pflichten für alle GPAI-Anbieter (Art. 53)
Anbieter müssen Transparenz schaffen und das Urheberrecht wahren.
Ausnahme für Open-Source: Die Pflichten zur technischen Dokumentation und zur Information nachgelagerter Anbieter gelten nicht für Modelle unter einer freien und quelloffenen Lizenz, sofern deren Parameter (einschließlich Gewichte und Architektur) öffentlich zugänglich sind. Dies gilt jedoch nicht, wenn das Modell ein systemisches Risiko birgt.
Spezielle Pflichten bei GPAI mit systemischem Risiko (Art. 55)
Ein GPAI-Modell gilt als Modell mit systemischem Risiko, wenn es über Fähigkeiten mit hoher Wirkungskraft verfügt (wird angenommen bei einer Rechenleistung von mehr als 10²⁵ FLOPs) oder von der Kommission als solches eingestuft wurde. Zusätzliche Pflichten für Anbieter von GPAI sind:
Welche speziellen Pflichten gelten für Anbieter von Hochrisiko-KI-Systemen?
Die speziellen Pflichten für Anbieter (Providers) von Hochrisiko-KI-Systemen bilden einen zentralen Pfeiler der KI-Verordnung, um die Sicherheit und Grundrechte in der Union zu gewährleisten. Sie sind in Kapitel III Abschnitt 3 (Artikel 16 bis 25) der Verordnung festgelegt. Die technischen Anforderungen, die diese Anbieter sicherstellen müssen, finden sich in Abschnitt 2 (Artikel 8 bis 15)
Was umfassen die Pflichten und welche Maßnahmen sind erforderlich?
Gemäß Artikel 16 müssen Anbieter eine Vielzahl von Schritten unternehmen, um die Konformität sicherzustellen:
Beispiele für Anbieter von Hochrisiko-KI und Maßnahmen
Softwarehaus für HR-Lösungen: Ein Unternehmen entwickelt ein KI-gestütztes Tool zur Vorauswahl von Bewerbern.
Maßnahme: Der Anbieter muss das System so trainieren, dass diskriminierende Verzerrungen (Bias) in den Datensätzen erkannt und korrigiert werden (Daten-Governance nach Art. 10).Finanztechnologie-Unternehmen: Ein Anbieter bringt ein System zur Kreditwürdigkeitsprüfung natürlicher Personen auf den Mark.
Maßnahme: Er muss eine Betriebsanleitung erstellen, die dem Betreiber (der Bank) klar erklärt, wie das System zu beaufsichtigen ist und welche Grenzen die Genauigkeit der Ergebnisse hat (Transparenz nach Art. 13).Hersteller von Medizintechnik: Ein Unternehmen integriert eine KI zur automatisierten Diagnose von Krankheiten in ein Röntgengerät.
Maßnahme: Da dies als Sicherheitsbauteil gilt, muss der Anbieter ein umfassendes Risikomanagementsystem führen, das über den gesamten Lebenszyklus potenzielle Gefahren für Patienten bewertet (Art. 9).Technologieanbieter im öffentlichen Sektor: Ein Unternehmen entwickelt ein System zur biometrischen Fernidentifizierung für Behörden.
Maßnahme: Der Anbieter muss sicherstellen, dass die Ergebnisse des Systems von mindestens zwei natürlichen Personen getrennt überprüft werden können (menschliche Aufsicht nach Art. 14)
Was droht, wenn die Pflichten des AI-Acts nicht eingehalten werden?
Bei Verstößen gegen die KI-Verordnung sieht der EU-AI-Act ein abgestuftes System von Sanktionen, insbesondere Geldbußen, sowie verschiedene Aufsichts- und Korrekturmaßnahmen vor. Für die Festsetzung der Sanktionen müssen die Behörden unter anderem die Art, Schwere und Dauer des Verstoßes, die Größe und den Marktanteil des Akteurs sowie den Grad der Zusammenarbeit mit den Behörden berücksichtigen. Welcher Rahmen dafür gilt ist wie folgt in der KI-Verordnung festgehalten:
Geldbußen (Art. 99–101 KI-Verordnung)
Die Höhe der Geldbußen ist nach der Schwere des Verstoßes gestaffelt. Für Unternehmen werden die Bußgelder am weltweiten Jahresumsatz oder an festen Summen bemessen (je nachdem, welcher Betrag höher ist):
Verstöße gegen verbotene KI-Praktiken (Art. 5) können mit Geldbußen von bis zu 35.000.000 EUR oder bis zu 7 % des gesamten weltweiten Jahresumsatzes bestraft werden.
Verstöße gegen sonstige Pflichten (z. B. für Hochrisiko-Systeme oder Transparenzregeln): können mit Geldbußen von bis zu 15.000.000 EUR oder bis zu 3 % des weltweiten Jahresumsatzes bestraft werden.
Erteilung unrichtiger oder irreführender Informationen an Behörden: kann mit Geldbußen von bis zu 7.500.000 EUR oder bis zu 1 % des weltweiten Jahresumsatzes bestraft werden.
Besonderheiten für KMU und Start-ups
Für kleine und mittlere Unternehmen sowie Start-ups gilt nach Art. 99 Abs. 6 KI-Verordnung eine Deckelung: Die Geldbuße wird auf den jeweils niedrigeren der genannten Beträge (Prozentsatz oder Summe) begrenzt.
Sanktionen für weitere Akteure
Anbieter von GPAI-Modellen (KI-Modelle mit allgemeinem Verwendungszweck): Die Kommission kann bei vorsätzlichen oder fahrlässigen Verstößen Bußgelder von bis zu 3 % des Jahresumsatzes oder 15.000.000 EUR verhängen.
Organe und Einrichtungen der Union: Hier kann der Europäische Datenschutzbeauftragte Bußgelder verhängen (bis zu 1.500.000 EUR bei verbotenen Praktiken, sonst bis zu 750.000 EUR).
Korrekturmaßnahmen (Art. 79, 83, 93 KI-Verordnung)
Unabhängig von Geldbußen können die zuständigen Marktüberwachungsbehörden Maßnahmen ergreifen, um Gefahren abzuwenden:
Aufforderung zur Konformität: Der Anbieter muss innerhalb einer Frist Maßnahmen ergreifen, um die Einhaltung der Regeln sicherzustellen
Marktbeschränkungen: Behörden können das Inverkehrbringen verbieten oder einschränken.
Rückruf und Marktentnahme: Ein nicht konformes System kann vom Markt genommen oder von den Betreibern zurückgerufen werden.
Maßnahmen gegen GPAI-Modelle: Die Kommission kann Anbieter verpflichten, das Modell zurückzunehmen oder spezifische Risikominderungsmaßnahmen durchzuführen.
Rechte betroffener Personen (Art. 85 & 86 KI-Verordnung)
Verstöße können auch durch individuelle Maßnahmen von Bürgern oder juristischen Personen sanktioniert werden:
Beschwerderecht: Jede Person, die einen Verstoß vermutet, kann eine Beschwerde bei der zuständigen Marktüberwachungsbehörde einreichen.
Recht auf Erläuterung: Personen, die von einer Entscheidung eines Betreibers auf Basis eines Hochrisiko-KI-Systems wesentlich betroffen sind, haben das Recht, eine klare und aussagekräftige Erklärung über die Rolle der KI in diesem Prozess zu erhalten.
Unser 5-Schritte-Fahrplan zur rechtssicheren Umsetzung des AI-Acts in Deinem Unternehmen:
Schritt 1: KI-Inventur
Eine zentrale Übersicht welche KI-Tools im Unternehmen eingesetzt werden, ist der Ausgangspunkt für eine geordnete Umsetzung des AI-Acts.
Führe eine Bestandsaufnahme aller im Unternehmen eingesetzten KI-Tools durch:
Ermittle, wo im Unternehmen Leistungen mit KI erbracht werden. Welche Tools nutzen deine Mitarbeiter bereits und wofür?
Prüfe auch Verträge mit Drittanbietern darauf, ob KI für Leistungen eingesetzt wird, die Dein Unternehmen nutzt.
Welche KI-Systeme entwickelt ihr vielleicht sogar selbst?
Ermittle anschließend, ob du Anbieter oder Betreiber der jeweiligen KI-Systeme bist.
Schritt2: Risikoklassifizierung
Ordne Deine KI-Systeme in die Risiko-Pyramide ein. Bewerte die Risiken dabei je nach Einsatzszenario. Identifiziere auch GPAI-Modelle im Systembestand.
Tipp: Die meisten Marketing- und Office-KIs gehören in die Kategorie „geringes Risiko“. Eine HR-Software, die aber z.B. eine Vorsortierung der Bewerber vornimmt ist ein Hochrisiko-System!
Schritt 3: Pflichten auf einen Blick
Verschaffe Dir mit den Übersichten aus "3. Pflichten des AI-Acts ausführlich erklärt" eine Übersicht, welche Maßnahmen Du ergreifen musst und priorisiere dabei Anpassungen, die Du für Hochrisiko-Systeme vornehmen musst.
Prüfe auch deine Verträge mit Drittanbietern auf Pflichteinhaltung. Stellt der Anbieter ausreichende Dokumentationen bereit? Erfüllen die genutzten Systeme die Pflichten des AI-Acts? Falls nicht, solltest Du die Verträge nachverhandeln oder den Anbieter wechseln.
Schritt 4: Anpassungen, Prozessdefinition und Dokumentation
Priorisiere Anpassungen, die Du für Hochrisiko-Systeme vornehmen musst. Integriere Notfall- und Stopp-Mechanismen. plane ggf. Konformitätsbewertungen rechtzeitig. Stelle Nachvollziehbarkeit sicher und erstelle eine vereinfachte technische Dokumentation.
Auch die Einhaltung der Transparenz- und Kennzeichnungspflichten des AI-Acts hat Priorität. Entwickle dazu einen redaktionellen Freigabeprozess.
Implementiere Governance-Strukturen. Definiere Verantwortlichkeiten, sowie Freigabeprozesse und dokumentiere diese in einer internen KI-Richtlinie. Ergänze auch welche KI-Tools im Unternehmen genutzt werden dürfen.
Schritt 5: Mitarbeiter schulen
Stelle Deinen Mitarbeitenden die genutzten KI-Systeme, die jeweilige Risikoklassifizierung, zugehörige Pflichten zur Einhaltung, Eure KI-Richtlinie und Prozessdokumentationen bereit.
Biete zusätzlich jährlich mindestens eine KI-Schulung an zur Förderung der KI-Kompetenz an. Unsere FIDAcademy kann diese Schulung für Dich gern übernehmen.
Du möchtest Unterstützung bei der Umsetzung des EU AI Acts? Die FIDA ist für Dich da!
Bei der FIDA haben wir KI-Experten für alle Ansprüche von KMUs, Versicherern, Energieversorgern und Behörden unter einem Dach:Unsere Kollegen im FIDA AI Consulting stehen dir beim AI-Governance-Aufbau zur Seite! Schulungen zu KI-Kompetenz uvm. bietet Dir unsere FIDAcademy. Vereinbare gern einen Beratungstermin, sodass wir den besten Weg in das KI-Zeitalter mit Dir teilen können!
FAQ: Häufige Fragen von Unternehmen zum EU AI Act
Der EU AI Act ist die europäische Verordnung zur Regulierung künstlicher Intelligenz. Sie verfolgt einen risikobasierten Ansatz und legt abhängig vom jeweiligen KI-System unterschiedliche Anforderungen an Unternehmen fest. Betroffen sind sowohl Unternehmen, die KI-Systeme entwickeln oder anbieten, als auch Unternehmen, die KI-Systeme im beruflichen Kontext einsetzen.
Grundsätzlich kann jedes Unternehmen betroffen sein, sobald es KI-Systeme beruflich einsetzt oder selbst entwickelt bzw. anbietet. Welche konkreten Pflichten gelten, hängt unter anderem davon ab, ob das Unternehmen als Anbieter oder Betreiber auftritt und welcher Risikoklasse das eingesetzte KI-System zugeordnet wird.
Als Anbieter gilt ein Unternehmen, das ein KI-System oder KI-Modell entwickelt oder entwickeln lässt und es unter eigenem Namen oder eigener Marke in Verkehr bringt oder in Betrieb nimmt.
Ein Betreiber nutzt ein KI-System in eigener Verantwortung für berufliche Zwecke. Ein Unternehmen, das beispielsweise ein externes KI-Tool für die Analyse von Dokumenten oder im Personalwesen einsetzt, kann damit zum Betreiber im Sinne des AI Acts werden.
Der EU AI Act unterscheidet grundsätzlich zwischen vier Risikostufen:
Unannehmbares Risiko: Bestimmte KI-Praktiken sind verboten.
Hohes Risiko: Für Hochrisiko-KI gelten umfangreiche Anforderungen an Sicherheit, Transparenz, Dokumentation und menschliche Aufsicht.
Geringes bzw. spezifisches Transparenzrisiko: Hier gelten insbesondere Informations- und Kennzeichnungspflichten.
Minimales Risiko: Für viele alltägliche KI-Anwendungen bestehen keine spezifischen Pflichten aus dem AI Act.
Zusätzlich gelten besondere Regelungen für KI-Modelle mit allgemeinem Verwendungszweck (GPAI).
Ja. Artikel 4 des EU AI Acts verpflichtet Anbieter und Betreiber dazu, für ein ausreichendes Maß an KI-Kompetenz (AI Literacy) bei den Personen zu sorgen, die in ihrem Auftrag mit KI-Systemen arbeiten.
Dabei muss die Schulung unter anderem die vorhandenen Kenntnisse der Mitarbeitenden, den konkreten Einsatzbereich sowie die damit verbundenen Chancen und Risiken berücksichtigen. Die Pflicht zur KI-Kompetenz ist nicht ausschließlich auf Hochrisiko-KI beschränkt, sondern betrifft den beruflichen Einsatz von KI grundsätzlich.
In bestimmten Fällen ja. Die Transparenzpflichten des AI Acts sehen unter anderem vor, dass Nutzer darüber informiert werden müssen, wenn sie direkt mit einem KI-System interagieren. Auch bestimmte synthetisch erzeugte oder manipulierte Inhalte, etwa Deepfakes, müssen entsprechend gekennzeichnet werden.
Für KI-generierte Texte zu Themen von allgemeinem Interesse gelten ebenfalls besondere Kennzeichnungspflichten. Eine Kennzeichnung ist beispielsweise nicht erforderlich, wenn ein solcher Text einer menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen wurde.
Die Transparenzpflichten nach Artikel 50 des EU AI Acts sind seit dem 2. August 2026 relevant. Unternehmen sollten daher insbesondere bei der Erstellung und Veröffentlichung von KI-generierten Bildern, Videos, Audios und bestimmten Texten prüfen, ob eine Kennzeichnung erforderlich ist.
Beim Einsatz von Hochrisiko-KI kommen für Betreiber zusätzliche Anforderungen hinzu. Dazu gehören unter anderem die sachgerechte Nutzung des Systems, eine angemessene menschliche Aufsicht, die Verwendung geeigneter Eingabedaten sowie die Aufbewahrung relevanter Protokolle.
Für bestimmte Unternehmen und Organisationen kann außerdem eine Grundrechte-Folgenabschätzung (FRIA) erforderlich sein. Sie soll mögliche Auswirkungen des KI-Systems auf Grundrechte identifizieren und geeignete Gegenmaßnahmen festlegen.
Hochrisiko-KI kann unter anderem in Bereichen zum Einsatz kommen, die besonders sensible Auswirkungen auf Menschen haben. Dazu zählen beispielsweise bestimmte Anwendungen im Personalwesen, in der Bildung, bei kritischen Infrastrukturen oder bei der Bewertung des Zugangs zu wesentlichen privaten und öffentlichen Dienstleistungen.
Ob ein konkretes System tatsächlich als Hochrisiko-KI einzustufen ist, hängt von seinem konkreten Einsatzzweck und den Vorgaben des AI Acts ab.
Verstöße gegen den AI Act können erhebliche finanzielle Folgen haben. Je nach Art und Schwere des Verstoßes sind Geldbußen von bis zu 35 Millionen Euro bzw. 7 % des weltweiten Jahresumsatzes möglich. Für andere Verstöße gelten niedrigere Höchstgrenzen.
Bei der Festsetzung einer Sanktion werden unter anderem die Schwere und Dauer des Verstoßes, die Größe und der Marktanteil des Unternehmens sowie weitere Umstände berücksichtigt. Für KMU und Start-ups gelten besondere Regelungen zur Höhe der Geldbußen.
Unternehmen sollten zunächst einen Überblick über alle im Unternehmen eingesetzten KI-Systeme schaffen. Anschließend sollte für jedes System geprüft werden, welche Rolle das Unternehmen einnimmt, welcher Risikoklasse das System zugeordnet werden kann und welche konkreten Pflichten daraus entstehen.
Darauf aufbauend sollten Unternehmen unter anderem Zuständigkeiten definieren, Mitarbeitende schulen, Transparenz- und Dokumentationsprozesse etablieren und den Einsatz von Hochrisiko-KI besonders sorgfältig prüfen. So lässt sich der KI-Einsatz strukturiert und rechtskonform gestalten.
