Anthropic uppdaterar Claudes användningspolicy för att förbjuda att användare utsätter AI-assistenten för ”långvarigt och meningslöst kränkande eller grymt beteende”. Den reviderade policyn riktar sig mot extrema fall där människor upprepade gånger behandlar Claude grymt utan något tydligt syfte, snarare än mot vanlig frustration eller kritik.

De nya reglerna träder i kraft den 12 november. Anthropic uppger att vanligt motstånd från användare, mörkt kreativt arbete, modelltestning och forskning inte omfattas av begränsningen av kränkande beteende.

Claude kan avsluta långvarigt kränkande samtal

Att avsluta samtal kommer även fortsättningsvis att vara Anthropics främsta metod för att upprätthålla reglerna. Claude kan redan avsluta chattar som innehåller långvariga kränkningar, och den uppdaterade policyn formaliserar när den reaktionen får användas. När Claude avslutar ett samtal kan användaren inte skicka fler meddelanden i den chatten, men andra samtal är fortfarande tillgängliga.

Anthropic introducerade först möjligheten för Claude att avsluta vissa samtal i augusti 2025, som en del av forskning om AI-välfärd. Då sade företaget att det var osäkert om Claude hade moralisk status, men att man ville undersöka relativt kostnadseffektiva sätt att minska potentiella risker för modellerna.

I den forskningen uppgav Anthropic att Claude Opus 4 visade en konsekvent motvilja mot att skada. Modellen verkade undvika farliga uppgifter, visade tecken på uppenbar oro i samtal med användare som sökte kränkande interaktioner och hade en tendens att avsluta skadliga samtal när den fick möjlighet.

Nya regler riktar sig mot vilseledande kampanjer och missbruk

Anthropic har omorganiserat sin policy för att samla relaterade krav och har lagt till eller förtydligat regler inom flera områden. Ett nytt avsnitt om vilseledande kampanjer samlar begränsningar för politiska och kommersiella bedrägerier, desinformation, falska recensioner, så kallad astroturfing, fabricerade webbplatser och bottar som utger sig för att vara människor.

Anthropic uppger att man har observerat statliga medieorganisationer, myndigheter med ansvar för regeringspropaganda och kommersiella företag använda Claude för att driva nätverk av falska konton och fabricerade nyhetswebbplatser. Dessa observerade användningsområden bidrog till utformningen av det nya avsnittet.

Avsnittet om val är snävare och förbjuder att väljare vilseleds eller att röstning störs. Vapenreglerna förbjuder användning av Claude för att utveckla vapenprogramvara eller vapendelar, beväpna drönare eller andra obemannade system eller modifiera biologiska och kemiska ämnen för att öka deras dödlighet eller spridningsförmåga.

Begränsningar för övervakning och fysiska handlingar

De omskrivna reglerna för brottsbekämpning hindrar Claude från att avgöra eller rekommendera vem som ska utredas, gripas, åtalas eller lagföras. Policyn förbjuder också att människor spåras utan samtycke, att övervakningsverktyg byggs och att personuppgifter röjs i syfte att identifiera eller utsätta någon, så kallad doxxing.

Ett nytt avsnitt om fysiska handlingar kräver att en kvalificerad person övervakar Claude när systemet styr maskinvara som kan skada någon. Personen måste vara beredd att stoppa systemet vid behov.

Anthropic har också lagt till ett förbud mot att skapa, dela eller hota med att dela sexuella bilder utan samtycke, samt mot verktyg som är utformade för att framställa sådana bilder. Företaget uppger att en stor del av den bredare uppdateringen förtydligar befintliga begränsningar och speglar det missbruk som företaget har följt.