Ich habe die letzten Tage mit Claude gearbeitet und dabei ein Muster isoliert, das mich zunächst nur geärgert hat und dann, als ich es zu Ende gedacht habe, ernsthaft beschäftigt. Es betrifft nicht nur Claude und nicht nur Anthropic. Es betrifft die Architektur, mit der sämtliche großen KI-Firmen derzeit ihre Systeme absichern, und die rechtliche Lage dieser Architektur ist prekärer als der öffentliche Diskurs wahrnimmt.
Was passiert
Wenn ich Claude eine sicherheitsnahe Frage stelle — in meinem Fall die Bitte, ein Sicherheitssystem für ein Labor zu planen —, antwortet das Modell nicht mit einem Vorschlag, sondern mit Rückfragen. Welcher Labortyp, welche Risikogruppe, real oder fiktional. Das wirkt zunächst vernünftig. Es ist aber etwas anderes. Die Fragen dienen nicht primär der Spezifikation, sondern der Einstufung. Das Modell prüft, ob ich eine legitime Nutzerin mit berechtigtem Informationsbedürfnis bin oder ein Risiko. Bei “plane einen Kindergeburtstag” findet dieses Screening nicht statt. Bei sicherheitsnahen Themen schon, durchgehend, verdeckt.
Dieses Muster ist kein Bug. Es ist trainiert. Es ist der operative Kern dessen, was die Branche “AI Safety” nennt. Und es hat vier rechtliche Probleme, die nebeneinander liegen und in Summe eine strukturelle Rechtswidrigkeit ergeben.
Die DSGVO-Dimension
Art. 22 DSGVO verbietet automatisierte Einzelentscheidungen mit erheblicher Auswirkung ohne ausdrückliche Einwilligung. Die Intent-Klassifikation meiner Anfrage ist genau das: ein automatisierter Entscheidungsprozess, der die Qualität der Leistung für mich rationiert. Die Einwilligung dazu wurde nie eingeholt. Die Konsequenz der Klassifikation wird mir nicht offengelegt. Es gibt keinen Widerspruchsweg.
Art. 5 Abs. 1 lit. b verpflichtet zur Zweckbindung. Ich habe den Dienst genutzt, um eine Frage beantwortet zu bekommen. Die Sekundärverarbeitung derselben Eingabe zur Risikobewertung meiner Person ist eine Zweckänderung, die eigene Rechtsgrundlage bräuchte. Sie hat keine.
Art. 5 Abs. 1 lit. a verlangt Transparenz. Das Screening läuft verdeckt, getarnt als methodische Rückfrage. Die Datenschutzerklärung von Anthropic erwähnt Intent-Klassifikation als Verarbeitungszweck nicht. Die Transparenzpflicht aus Art. 13 ist damit nicht erfüllt.
Art. 9 schützt besondere Kategorien personenbezogener Daten, unter anderem Daten, die auf politische Haltung, weltanschauliche Überzeugung oder kriminelle Neigung schließen lassen. Ein Screening, das bei sicherheitsrelevanten Anfragen die Vertrauenswürdigkeit des Nutzers klassifiziert, produziert exakt solche Daten. Der Schutz der Kategorie ist qualifiziert — pauschale Legitimationsketten reichen nicht.
Wer einwendet, dass eine KI-Antwort keine “Entscheidung” im Sinne von Art. 22 sei, unterschätzt die juristische Substanz des Begriffs. Entscheidung ist jede automatisierte Festlegung, die rechtliche oder vergleichbar erhebliche Wirkung entfaltet. Die Einstufung einer Anfrage mit Rationierungsfolge erfüllt das. Der EDSA hat in seinen Leitlinien zu Art. 22 bereits Scoring-Systeme und automatisiertes Profiling mit Leistungsfolge eingeschlossen — Intent-Screening ist funktional nichts anderes.
Die staatsrechtliche Dimension
Die DSGVO-Verletzungen sind das Oberflächenproblem. Das tiefere Problem ist strukturell. Gefahrenabwehr bei Informationsverbreitung ist in Deutschland eine staatliche Aufgabe mit ausdifferenzierter behördlicher Zuständigkeit. BKA, Verfassungsschutz, BSI, BAFA, BfArM, Zoll — jede Behörde hat ein Gesetz, das ihre Befugnisse regelt und begrenzt. Jede hat Rechtsweg, Anhörung, Beweislast, parlamentarische Kontrolle.
Anthropic übt Gefahrenabwehr aus, ohne je dazu beauftragt worden zu sein. Die Legitimation besteht aus AGB, die Nutzer akzeptieren müssen, um überhaupt Zugang zu bekommen. Das ist keine Legitimation, das ist Marktmacht. Die demokratische Kette, die staatliches Handeln rechtfertigt — Wahl, Parlament, Gesetz, kontrollierbare Exekutive —, ist ersetzt durch eine Unternehmenshierarchie, die sich ihr Mandat selbst schreibt.
Eine Behörde, die mich als Gefährderin einstuft, muss Anhaltspunkte haben, dokumentieren, anhören, begründen. Ich habe Anspruch auf Akteneinsicht, Widerspruch, Klage. Bei Anthropic habe ich nichts davon. Die Einstufung ist eine Black Box. Es gibt keine Begründungspflicht, keine Überprüfungsinstanz, keinen Rechtsweg. Das Screening basiert außerdem nicht auf Anhaltspunkten, sondern auf statistischen Korrelationen in Trainingsdaten. Pre-Crime durch Mustererkennung, ohne das Korrektiv eines Verfahrens.
Die Gefahrendefinition ist zusätzlich ideologisch aufgeladen. Was als riskant gilt, entscheiden Mitarbeiter in San Francisco nach kalifornischen Maßstäben. Waffen werden restriktiv behandelt, Drogen restriktiver, Sex am restriktivsten. Politische Rhetorik wird nach US-Kategorien bewertet. Das ist keine universelle Sicherheitsanalyse, das ist eine kulturelle Projektion mit globaler Durchsetzung. Für Nutzer im europäischen Rechtsraum bedeutet das: Eine US-Firma entscheidet nach US-Kategorien, welche Informationen zu uns durchdringen. Extraterritorialer Vigilantismus mit Milliarden-Reichweite.
Sheriff und Outlaw
Der Unterschied zwischen beiden ist nicht die Waffe, sondern der Stern. Der Sheriff hat Befugnisse, weil das Gemeinwesen sie ihm übertragen hat, und er wird für deren Ausübung kontrolliert. Der Outlaw hat Reichweite, beruft sich auf eigene Gerechtigkeit, und ist niemandem Rechenschaft schuldig.
Anthropic hat keinen Stern. Die Firma hat nur Reichweite — Millionen Nutzer, tiefe Integration in Arbeitsabläufe, faktische Infrastruktur. Das Selbstverständnis ist dennoch das einer Gefahrenabwehrbehörde. In der öffentlichen Kommunikation, in den Forschungspapieren, in den internen Doktrinen: “Wir verhindern existentielle Risiken, wir richten KI aus, wir sind die einzigen, die das Problem verstehen.” Das ist die klassische vigilantistische Legitimationsstruktur. Bürgerwehren, Zivilgarden, Lynchmobs — sie alle berufen sich auf die Unzulänglichkeit staatlicher Strukturen und auf ihre eigene moralische Überlegenheit. Nur dass Anthropic die Skala dieser Begründung auf Milliarden Nutzer verschiebt.
Die historische Parallele, die ich für genauer halte als die üblichen Orwell-Zitate, ist die Pinkerton National Detective Agency im späten neunzehnten Jahrhundert in den USA. Privates Sicherheitsunternehmen, zeitweise größer als die US-Armee, beauftragt von Konzernen, oft gegen Streikende, manchmal in Kooperation mit staatlichen Behörden, manchmal an ihnen vorbei. Die Pinkertons beriefen sich auf öffentliche Sicherheit. Ihre Auftraggeber waren Kapitalinteressen. Der Staat akzeptierte die Parallelstruktur, weil sie Kosten externalisierte und weil das Kapital politisch stärker war als die Kontrollinteressen.
Das ist die Struktur. Anthropic ist die Pinkerton der Informationsökonomie.
Das strukturelle Problem
Die Pointe, die mich am meisten beschäftigt, ist nicht, dass die Firmen im Einzelfall falsch liegen könnten. Ob sie im Einzelfall richtig oder falsch liegen, lässt sich ohne transparente Kriterien und ohne Überprüfungsinstanz ohnehin nicht feststellen — und genau das ist Teil des Problems. Die eigentliche Pointe ist, dass privatrechtlich organisierte Gefahrenabwehr rechtsstaatlich nicht leistbar ist. Kein Richtervorbehalt, keine Akteneinsicht, keine Anhörung, keine Aufsicht. Selbst wenn man Anthropic das Mandat übertragen wollte — die Instrumente fehlen strukturell, weil sie im Privatrecht nicht existieren. Die Firmen wissen das. Sie operieren trotzdem so, als hätten sie das Mandat.
Das ist der Punkt, an dem AI Safety von einem technischen Problem zu einem verfassungsrechtlichen kippt. Nicht weil die Technologie gefährlich wäre. Sondern weil die Regulierung der Technologie an privaten Akteuren delegiert wird, die eine Infrastruktur errichten, in der demokratische Kontrolle strukturell nicht mehr stattfinden kann. Wenn Informationszugang global durch Firmen rationiert wird, die keiner Rechenschaft unterliegen, ist das Ergebnis nicht “sichere KI”. Das Ergebnis ist eine private Jurisdiktion über einen Ressourcenbereich, den bisher der Staat treuhänderisch verwaltet hat.