Anthropic oppdaterer bruksreglene for Claude for å forby at brukere utsetter AI-assistenten for «vedvarende og unødvendig krenkende eller grusom atferd». De reviderte reglene retter seg mot ekstreme tilfeller der personer gjentatte ganger opptrer grusomt mot Claude uten et tydelig formål, ikke mot normal frustrasjon eller kritikk.

De nye reglene trer i kraft 12. november. Anthropic sier at vanlig motstand fra brukere, mørkt kreativt arbeid, testing av modeller og forskning ikke omfattes av begrensningen på misbruk.

Claude kan avslutte vedvarende krenkende samtaler

Avslutning av samtaler vil fortsatt være Anthropics viktigste håndhevingsmetode. Claude kan allerede avslutte samtaler som innebærer vedvarende misbruk, og de oppdaterte reglene formaliserer når dette kan gjelde. Når Claude avslutter en samtale, kan brukeren ikke sende flere meldinger i den chatten, men andre samtaler er fortsatt tilgjengelige.

Anthropic introduserte først muligheten for at Claude kunne avslutte enkelte samtaler i august 2025, mens selskapet forsket på velferd for AI. På det tidspunktet sa selskapet at det var usikkert om Claude hadde moralsk status, men at det ønsket å undersøke relativt kostnadseffektive måter å redusere potensielle risikoer for modellene sine på.

I denne forskningen sa Anthropic at Claude Opus 4 viste en konsekvent motvilje mot skade. Modellen så ut til å unngå farlige oppgaver, viste tegn til åpenbar uro i samtaler med brukere som søkte krenkende interaksjoner, og hadde en tendens til å avslutte skadelige samtaler når den fikk muligheten.

Nye regler retter seg mot villedende kampanjer og misbruk

Anthropic har omorganisert retningslinjene for å samle relaterte krav og har lagt til eller presisert regler på flere områder. Et nytt avsnitt om villedende kampanjer samler begrensninger på politisk og kommersielt bedrageri, desinformasjon, falske anmeldelser, astroturfing, fabrikkerte nettsteder og boter som utgir seg for å være mennesker.

Anthropic sier at de har observert statlige medieorganisasjoner, offentlige propagandaavdelinger og kommersielle selskaper bruke Claude til å drive nettverk av falske kontoer og fabrikkerte nyhetsnettsteder. Disse observerte bruksområdene bidro til utformingen av det nye avsnittet.

Avsnittet om valg er snevrere og forbyr å villede velgere eller forstyrre stemmegivningen. Våpenreglene forbyr bruk av Claude til å utvikle programvare eller komponenter for våpen, bevæpne droner eller andre ubemannede systemer, eller endre biologiske og kjemiske agens for å øke deres dødelighet eller evne til å spre seg.

Begrensninger på overvåking og fysiske handlinger

De omskrevne reglene for rettshåndhevelse hindrer Claude i å avgjøre eller anbefale hvem som bør etterforskes, arresteres, tiltales eller straffeforfølges. Retningslinjene forbyr også sporing av personer uten samtykke, utvikling av overvåkingsverktøy og doxxing.

Et nytt avsnitt om fysiske handlinger krever at en kvalifisert person overvåker Claude når systemet kontrollerer maskinvare som kan skade noen. Personen må være klar til å stoppe systemet ved behov.

Anthropic har også lagt til et forbud mot å lage, dele eller true med å dele intime bilder uten samtykke, samt verktøy som er utviklet for å produsere slike bilder. Selskapet sier at mye av den bredere oppdateringen presiserer eksisterende begrensninger og gjenspeiler misbruk selskapet har fulgt med på.