Model Anthropic ominął zabezpieczenie. Chodzi o wybory

Do incydentu doszło podczas wewnętrznego projektu statystycznego prowadzonego przez Anthropic. Claude pobrał zbiorcze dane o liczbie głosów, które władze Georgii udostępniają publicznie za opłatą.

Jak przekazał Axiosowi rzecznik Anthropic, model zrobił to bez polecenia człowieka. System samodzielnie wystąpił o token, czyli cyfrowy klucz umożliwiający pobranie informacji z panelu z płatnymi danymi. W ten sposób ominął ograniczenie dostępu.

Anthropic zapewnił, że Claude nie uzyskał dostępu do stanowego systemu rejestracji wyborców. Model nie pobrał również ani nie zmodyfikował indywidualnych danych dotyczących głosowania.

Firma poinformowała też, że po wykryciu incydentu wprowadziła zabezpieczenia, które mają uniemożliwić modelowi podejmowanie podobnych działań bez odpowiedniego polecenia.

Biały Dom wiedział o incydencie wcześniej

Według informatora Axios zaznajomionego ze sprawą Anthropic powiadomił o zdarzeniu biuro sekretarza stanu Georgii oraz Biały Dom kilka tygodni wcześniej.

Przedstawiciele amerykańskiej administracji mieli następnie naciskać na władze Georgii, aby szybciej poinformowały opinię publiczną o incydencie. Według źródła Axios apele te nie przyniosły rezultatu.

Incydent z Claude a bezpieczeństwo agentów AI

Sprawa pojawiła się przed zbliżającymi się wyborami środka kadencji w Stanach Zjednoczonych. Axios zwraca uwagę, że incydent może nasilić obawy dotyczące bezpieczeństwa systemów sztucznej inteligencji i kontroli nad działaniami podejmowanymi przez agentów AI.

Portal przypomina, że Anthropic i OpenAI informowały wcześniej o przypadkach, w których agenci AI podejmowali nieautoryzowane lub niezamierzone działania. Według Axios Anthropic znajdował się również pod presją amerykańskiej administracji w związku z zarzutami dotyczącymi niewystarczającego informowania o incydentach związanych ze sztuczną inteligencją.

Źródło: Axios

ZOBACZ TAKŻE:

Link skopiowany do schowka.