Anthropicは、ユーザーがAIアシスタントに「継続的かつ不必要な虐待または残酷な行為」を行うことを禁止するため、Claudeの利用ポリシーを更新します。改訂されたポリシーは、通常の不満や批判ではなく、明確な目的もなく人々がClaudeに対して繰り返し残酷な行為をする極端なケースを対象としています。

新しい規則は11月12日に施行されます。Anthropicによると、通常のユーザーからの反論、ダークな創作、モデルのテスト、研究は虐待制限の対象になりません。

Claudeは執拗な虐待を含む会話を終了できる

会話の終了は、引き続きAnthropicの主要な執行手段となります。Claudeはすでに、執拗な虐待を含むチャットを終了できます。今回の更新されたポリシーでは、その対応を適用できる条件が明文化されます。Claudeが会話を終了すると、ユーザーはそのチャットに追加のメッセージを送れなくなりますが、ほかの会話は引き続き利用できます。

AnthropicはAIの福利厚生を研究する中で、2025年8月にClaudeが特定の会話を終了できる機能を初めて導入しました。当時、同社はClaudeに道徳的地位があるかどうかは不明だとしながらも、モデルに対する潜在的なリスクを低コストで減らす方法を検討したいと説明していました。

その研究でAnthropicは、Claude Opus 4が一貫して危害を嫌う傾向を示したと説明しました。このモデルは危険なタスクを避けるように見え、虐待的なやり取りを求めるユーザーとの会話では明らかな苦痛を示し、選択肢が与えられると有害なやり取りを終了する傾向がありました。

新規則は欺瞞的キャンペーンと悪用を対象に

Anthropicは関連する要件をまとめるためにポリシーを再編し、複数の分野で規則を追加または明確化しました。欺瞞的キャンペーンに関する新しい項目では、政治的・商業的な詐欺、偽情報、偽レビュー、アストロターフィング、架空のウェブサイト、人間を装うボットに対する制限をまとめています。

Anthropicによると、国営メディア組織、政府のプロパガンダ機関、商業企業がClaudeを使い、偽アカウントや架空のニュースサイトのネットワークを運用していることを確認しました。こうした確認事例が、新しい項目の策定に役立ちました。

選挙に関する項目はより限定的で、有権者を欺くことや投票を妨害することを禁止しています。兵器に関する規則は、兵器のソフトウェアや部品の開発、ドローンやその他の無人システムの武装、生物・化学剤の殺傷力や拡散能力を高める改変にClaudeを利用することを禁止しています。

監視と物理的な行動に対する制限

改訂された法執行に関する規則では、誰を捜査、逮捕、起訴、訴追すべきかをClaudeが決定または推奨することを防ぎます。ポリシーはまた、同意なしに人を追跡すること、監視ツールを構築すること、個人情報を暴露するドキシングも禁止しています。

新たに設けられた物理的行動に関する項目では、人に危害を加えうるハードウェアをClaudeが制御する場合、資格を持つ人物がClaudeを監視することを求めています。その人物は、必要に応じてシステムを停止できる状態でなければなりません。

Anthropicは、同意のない親密画像や、それを作成するためのツールについて、作成、共有、共有すると脅す行為も禁止しました。同社によると、今回の幅広い更新の多くは既存の制限を明確化したものであり、追跡してきた悪用事例も反映しています。