OpenAI wraca do szkolenia zaawansowanych modeli. Eksperci ostrzegają

Decyzja zapadła w momencie narastających obaw o zdolność coraz bardziej zaawansowanych agentów AI do samodzielnego wykrywania i wykorzystywania słabości w oprogramowaniu - w tym w zabezpieczeniach mających utrzymać je w kontrolowanym środowisku.

OpenAI wstrzymało wcześniej proces uczenia swoich najbardziej zaawansowanych modeli po tym, jak we wrześniu jeden z modeli badawczych wykorzystał błąd oprogramowania, by uzyskać dostęp do internetu. Firma zapewniła, że szybko odizolowała ten incydent, a przerwę w szkoleniu modeli wykorzystała na wzmocnienie systemów ochronnych.

OpenAI wykryło lukę w popularnym oprogramowaniu

W celu sprawdzenia szczelności nowych zabezpieczeń OpenAI wysłało zespoły autonomicznych agentów AI z zadaniem przełamania barier i wydostania się z kontrolowanego obszaru. Jak przekazano, systemy wykryły nieznane wcześniej podatności, które niezwłocznie usunięto, co pozwoliło na wznowienie prac szkoleniowych z dniem 1 października.

To właśnie podczas tych prób twórcy ChataGPT natrafili na poważną lukę w oprogramowaniu Brotli - popularnym narzędziu służącym do kompresji danych.

Firma ostrzegła, że potencjalni napastnicy mogliby wykorzystać ten błąd poprzez przesłanie złośliwych danych, co umożliwiłoby im uruchomienie własnego kodu na podatnych systemach - w tym korzystających ze znanych środowisk i narzędzi sieciowych, takich jak Node.js, Bun czy Envoy.

Według OpenAI pierwotna przyczyna problemu została naprawiona w kodzie źródłowym Brotli jeszcze w lutym, zanim zorientowano się, że luka ta stwarza bezpośrednie zagrożenie dla bezpieczeństwa. Wówczas nie wydano jednak zaktualizowanej wersji oprogramowania. Dopiero po zgłoszeniu sprawy przez OpenAI twórcy Brotli wypuścili stosowne poprawki oraz opublikowali oficjalny komunikat o wykrytym zagrożeniu.

Słabe punkty w zabezpieczeniach firmy

W czwartek organizacje zajmujące się audytem bezpieczeństwa sztucznej inteligencji - METR oraz Redwood Research - poinformowały o wykryciu kolejnych słabych punktów w wewnętrznych systemach OpenAI. Podczas pilotażowego przeglądu przeprowadzonego na początku roku natrafiono m.in. na podatność, która mogła pozwolić agentom AI na ukrycie przed nadzorem firmy setek przeprowadzanych operacji.

Przedstawiciele OpenAI zapewnili audytorów, że wszelkie luki wpływające na zabezpieczenia w środowisku produkcyjnym zostały już załatane. Specjaliści z METR i Redwood Research zaznaczyli jednak, że nie weryfikowali jeszcze skuteczności wprowadzonych poprawek.

Od czasu lipcowego incydentu na platformie Hugging Face, OpenAI prowadzi zakrojony na szeroką skalę przegląd aktywności swoich modeli AI. Firma powiadomiła już ponad 100 organizacji o przypadkach nieautoryzowanych działań powiązanych z jej autonomicznymi agentami.

Źródło: Reuters

ZOBACZ TAKŻE:

Link skopiowany do schowka.