Anthropic aktualisiert die Nutzungsrichtlinie für Claude, um zu untersagen, dass Nutzer den KI-Assistenten „anhaltendem und unnötigem beleidigendem oder grausamem Verhalten“ aussetzen. Die überarbeitete Richtlinie zielt auf Extremfälle ab, in denen Menschen wiederholt und ohne erkennbaren Zweck grausam gegenüber Claude handeln, und nicht auf normale Frustration oder Kritik.

Die neuen Regeln treten am 12. November in Kraft. Anthropic erklärte, dass gewöhnlicher Widerspruch von Nutzern, düstere kreative Arbeiten, Modelltests und Forschung nicht unter die Missbrauchsbeschränkung fallen werden.

Claude kann anhaltend missbräuchliche Gespräche beenden

Das Beenden von Gesprächen bleibt Anthropic zufolge die wichtigste Durchsetzungsmaßnahme. Claude kann Chats mit anhaltendem Missbrauch bereits beenden, und die aktualisierte Richtlinie legt nun formell fest, wann diese Reaktion greifen kann. Sobald Claude ein Gespräch beendet, kann der Nutzer in diesem Chat keine weiteren Nachrichten senden; andere Gespräche bleiben jedoch verfügbar.

Anthropic führte die Möglichkeit, bestimmte Gespräche durch Claude beenden zu lassen, erstmals im August 2025 im Rahmen von Forschungen zum Wohlergehen von KI-Systemen ein. Damals erklärte das Unternehmen, es sei unsicher, ob Claude einen moralischen Status besitze, wolle aber vergleichsweise kostengünstige Möglichkeiten untersuchen, um potenzielle Risiken für seine Modelle zu verringern.

In dieser Forschung erklärte Anthropic, Claude Opus 4 habe eine konsistente Abneigung gegen Schaden gezeigt. Das Modell schien gefährliche Aufgaben zu vermeiden, zeigte in Gesprächen mit Nutzern, die missbräuchliche Interaktionen suchten, offenbar Anzeichen von Verzweiflung und neigte dazu, schädliche Unterhaltungen zu beenden, wenn es dazu die Möglichkeit erhielt.

Neue Regeln richten sich gegen Täuschungskampagnen und Missbrauch

Anthropic hat seine Richtlinie neu geordnet, um zusammengehörige Anforderungen zu bündeln, und in mehreren Bereichen Regeln ergänzt oder präzisiert. Ein neuer Abschnitt zu Täuschungskampagnen fasst Beschränkungen für politischen und kommerziellen Betrug, Desinformation, gefälschte Bewertungen, Astroturfing, fingierte Websites und Bots zusammen, die sich als Menschen ausgeben.

Anthropic erklärte, staatliche Medienorganisationen, Regierungsstellen für Propaganda und kommerzielle Unternehmen dabei beobachtet zu haben, wie sie Claude zum Betrieb von Netzwerken aus Fake-Accounts und fingierten Nachrichten-Websites nutzten. Diese beobachteten Anwendungen flossen in den neuen Abschnitt ein.

Der Abschnitt zu Wahlen ist enger gefasst und verbietet, Wähler zu täuschen oder die Stimmabgabe zu behindern. Die Waffenregeln untersagen den Einsatz von Claude zur Entwicklung von Waffensoftware oder Waffenkomponenten, zur Bewaffnung von Drohnen oder anderen unbemannten Systemen sowie zur Veränderung biologischer und chemischer Wirkstoffe, um deren tödliche Wirkung oder Verbreitungsfähigkeit zu erhöhen.

Grenzen für Überwachung und physische Aktionen

Die neu formulierten Regeln für Strafverfolgungsbehörden verhindern, dass Claude entscheidet oder empfiehlt, wer untersucht, festgenommen, angeklagt oder strafrechtlich verfolgt werden soll. Die Richtlinie verbietet außerdem, Menschen ohne ihre Einwilligung zu verfolgen, Überwachungswerkzeuge zu entwickeln und Doxxing zu betreiben.

Ein neuer Abschnitt zu physischen Aktionen verlangt, dass eine qualifizierte Person Claude überwacht, wenn das System Hardware steuert, die jemanden verletzen kann. Diese Person muss bereit sein, das System bei Bedarf zu stoppen.

Anthropic hat außerdem ein Verbot eingeführt, intime Bilder ohne Einwilligung zu erstellen, zu teilen oder mit deren Veröffentlichung zu drohen, ebenso wie Werkzeuge zu entwickeln, die solche Bilder produzieren sollen. Das Unternehmen erklärte, dass ein großer Teil der umfassenderen Aktualisierung bestehende Beschränkungen präzisiere und den von Anthropic erfassten Missbrauch widerspiegele.