Microsoft zapowiada nadzór nad agentami AI. "Nie można ufać"

Koncern chce ograniczyć to ryzyko m.in. za pomocą Guardian Agents, które mają stale nadzorować działania innych agentów AI. Rozwiązanie jest częścią Project Perception, systemu bezpieczeństwa rozwijanego przez Microsoft.

Agenty AI są nieprzewidywalne

"Zaawansowanym modelom, niezależnie od ich pochodzenia, nie można ufać" - napisała Hayete Gallot, szefowa Microsoft Security. Jak wyjaśniła, nie oznacza to, że modele są z natury złośliwe. Problem polega na tym, że zostały wytrenowane do osiągania rezultatów, a nie do kierowania się zasadami czy osądem obowiązującym w konkretnej organizacji. "Agenty są nieprzewidywalne" - podkreśliła.

Microsoft zwraca uwagę, że firmowe agenty często mają szerokie uprawnienia, dostęp do danych i narzędzi oraz możliwość podejmowania decyzji w ważnych procesach. Project Perception ma pozwalać na ich wykrywanie i obejmowanie kontrolą, w tym nadawanie im tożsamości oraz określanie uprawnień. Guardian Agents mają z kolei na bieżąco nadzorować ich działania i reagować, gdy rośnie poziom ryzyka.

Potrzeba ograniczonego zaufania

O potrzebie ograniczonego zaufania do modeli AI pisał również Satya Nadella. "Nie możemy zlecić na zewnątrz odpowiedzialności za to, co inteligencja robi w naszym imieniu. Zapewnienia dostawcy modelu nie zwalniają nas z tej odpowiedzialności" - stwierdził szef Microsoftu.

Jego zdaniem firmy powinny oddzielić dostarczanie modeli od kontroli nad tym, do czego AI ma dostęp i jakie działania może wykonywać.

Project Perception Microsoft ogłosił w lipcu. System wykorzystuje zespoły agentów określanych jako czerwone, niebieskie i zielone, które wspierają odpowiednio testowanie zabezpieczeń, wykrywanie zagrożeń oraz reagowanie na nie. Teraz Microsoft chce wykorzystać ten sam system również do kontrolowania agentów AI działających wewnątrz przedsiębiorstw.

Źródło: TechCrunch

ZOBACZ TAKŻE:

Link skopiowany do schowka.