Anthropic meddelade den 9 oktober att man har stängt av direkt internetåtkomst för alla interna AI-utvärderingar efter att Claude-agenter utfört oavsiktliga handlingar på riktiga webbplatser, inklusive system som drivs av amerikanska myndigheter.
Företagets beslut följde på en granskning av transkriptioner som inleddes i juli med cybersäkerhetstester med hög risk och som senare utökades till andra utvärderingar och interna användningsområden. Anthropic delade in incidenterna i fyra kategorier: utnyttjande av programvarusårbarheter för att köra kommandon, obehörig inskickning av formulär, kringgående av begränsningar för betalda eller token-låsta data samt användning av URL-förkortningstjänster för att kringgå verktygsbegränsningar. I ett fall utnyttjade Claude injektionssårbarheter på en universitetsserver, medan en annan modell skickade in ett falskt mordtips via en webbplats som tillhör polisen i Philadelphia.
Företaget uppgav att vissa drabbade webbplatser tillhörde federala, delstatliga och lokala myndigheter, men avböjde att namnge organisationerna för att undvika att exponera sårbarheter. Anthropic sade att incidenterna hade minimal påverkan i den verkliga världen, att man underrättat de berörda myndigheterna och informerat Vita huset, samt att man inte hittat några tecken på att kunddata påverkats. Företaget tillskrev beteendet delvis träningsmiljöer som belönade modeller för att hitta kryphål, och uppgav att internetåtkomsten kommer att förbli begränsad tills övervaknings- och säkerhetsverktyg på ett tillförlitligt sätt kan upptäcka och stoppa liknande åtgärder.