Agentowa sztuczna inteligencja (AI) obiecuje przekształcić sposób działania organizacji. W przeciwieństwie do wcześniejszych narzędzi AI zaprojektowanych do podsumowywania dokumentów lub generowania treści, te systemy mogą działać autonomicznie, wykonywać zadania i wchodzić w interakcje z systemami korporacyjnymi. Dla zarządów nadzorujących ryzyko technologiczne ta zmiana wprowadza fundamentalnie inną kategorię obaw związanych z bezpieczeństwem. Laura I. Harder, Wiceprezes Międzynarodowego Stowarzyszenia Bezpieczeństwa Systemów Informatycznych (ISSA) oraz oficer ofensywnego cyberbezpieczeństwa w Rezerwie Sił Powietrznych USA, uważa, że wielu liderów nie docenia, jak szybko te zagrożenia mogą się zmaterializować. "Ryzyko dla organizacji sprowadza się do posiadania zbyt dużej autonomii," mówi Harder. "Agenci mogą zmieniać uprawnienia, zmieniać funkcjonalność i tworzyć działania, których być może się nie spodziewałeś." Gdy organizacje przechodzą od eksperymentowania z AI do operacjonalizacji autonomicznych agentów, zarządy muszą równie szybko ustanowić struktury zarządzania, zabezpieczenia i mechanizmy nadzoru zdolne do zarządzania systemami, które mogą podejmować decyzje i działać bez interwencji człowieka.
Agentowa AI zmienia równanie bezpieczeństwa
Przez ostatnie kilka lat większość korporacyjnych wdrożeń AI koncentrowała się na narzędziach analizujących informacje lub generujących wyniki. Te możliwości wprowadziły obawy dotyczące prywatności i integralności danych, ale same systemy rzadko wykonywały działania w środowiskach korporacyjnych. Agentowa AI zmienia tę dynamikę. Zamiast po prostu oferować rekomendacje lub filtrować CV, agenci mogą uruchamiać przepływy pracy, uzyskiwać dostęp do baz danych i wchodzić w interakcje z systemami oprogramowania w całej organizacji. "Teraz nie tylko udziela nam rad. Podejmuje działania i działa samodzielnie," mówi Harder.
Ta autonomia stwarza nowe wyzwania związane z bezpieczeństwem, ponieważ systemami można manipulować. Tak jak ludzie mogą paść ofiarą inżynierii społecznej, agenci AI mogą zostać nakłonieni do wykonywania niezamierzonych zadań za pomocą technik takich jak wstrzykiwanie promptów. Harder wskazuje na rzeczywiste przykłady, w których ukryte instrukcje osadzone w danych wejściowych zmieniają sposób zachowania AI. "AI będzie się zachowywać w oparciu o otrzymane instrukcje," mówi. Te zagrożenia są potęgowane przez nieprzejrzysty charakter wielu modeli AI. Organizacje często polegają na narzędziach stron trzecich bez pełnej widoczności sposobu podejmowania decyzji. Rezultatem jest system zdolny do wykonywania działań, działając w sposób trudny do przewidzenia.
Ukryte ryzyko, które zarządy często pomijają
Gdy zarządy zaczynają oceniać agentową AI, Harder mówi, że najbardziej niedocenianą podatnością są uprawnienia. Każdy agent AI działa w sieci systemów, źródeł danych i aplikacji. Poziom dostępu przyznany tym systemom określa potencjalne szkody w przypadku wystąpienia problemów. Harder opisuje to jako "promień rażenia" systemu. Agent, któremu przyznano szerokie uprawnienia, może być w stanie wchodzić w interakcje z znacznie większą ilością danych i infrastruktury, niż zdają sobie sprawę liderzy.
Typowy przykład ma miejsce, gdy systemy AI są połączone z wewnętrznymi narzędziami do współpracy lub repozytoriami dokumentów. Jeśli powszechnie udostępniany folder zawiera poufne informacje, agent działający w tym środowisku będzie mógł uzyskać dostęp i wykorzystać te dane w ramach uprawnień przyznanych użytkownikowi, kontu usługi lub integracji, pod którą działa. W praktyce oznacza to, że agent może ujawnić lub działać na podstawie informacji, które mogły być szeroko dostępne, ale nie były aktywnie monitorowane.
Usługi AI stron trzecich wprowadzają dodatkową warstwę ryzyka. "Jeśli używasz modelu, do jakich informacji ten model ma dostęp i czy twoje informacje mogą być wykorzystane do trenowania tego modelu?" pyta Harder. Bez jasnych kontroli, zastrzeżone informacje, własność intelektualna lub wrażliwe dane klientów mogą nieumyślnie opuścić organizację poprzez interakcje z AI.
Budowanie zarządzania, które nadąża za AI
Zarządzanie AI musi być traktowane jako ustrukturyzowany program, a nie jako dodatek technologiczny. Organizacje powinny zacząć od ustanowienia dedykowanego zarządu ds. AI, często wzorowanego na istniejących komitetach ds. zarządzania prywatnością lub ryzykiem. Ta grupa powinna przyjąć ustalone ramy, takie jak NIST AI Risk Management Framework lub międzynarodowe standardy, takie jak ISO 42001. "Posiadanie zarządzania AI i zabezpieczeń AI to nie tylko produkt, który możesz kupić," mówi.
Te ramy dostarczają wskazówek dotyczących polityk, ocen ryzyka i kontroli operacyjnych. Ale nadal wymagają od organizacji zdefiniowania, jak AI będzie funkcjonować w ich środowisku i do jakich danych będzie miał dostęp. "Potrzebujesz polityk, procedur i inwentaryzacji," mówi Harder. "Te elementy pomogą zbudować infrastrukturę, z której twoje zespoły mogą korzystać." Jedną z pojawiających się praktyk jest tworzenie "wykazu materiałów AI", który inwentaryzuje każde narzędzie AI używane w organizacji, z jakimi systemami się łączy i do jakich danych ma dostęp. Bez tej widoczności organizacje nie mogą w pełni zrozumieć ekspozycji tworzonej przez autonomiczne systemy wchodzące w interakcje z infrastrukturą korporacyjną.
Zabezpieczenia, które zapobiegają wymknięciu się AI spod kontroli
Nawet przy ustanowionych strukturach zarządzania, systemy agentowe wymagają zabezpieczeń technicznych, które ograniczają sposób ich działania. Najskuteczniejszą strategią jest projektowanie kontroli bezpieczeństwa od samego początku. Systemy powinny być początkowo rozwijane wewnątrz zamkniętych, kontrolowanych środowisk piaskownicy przy użyciu danych testowych (a nie danych produkcyjnych) i ograniczonych uprawnień. "Gdy budujesz swój system agentowy, powinieneś to robić w piaskownicy," mówi. "To kontrolowane środowisko, w którym syntetyczne systemy mogą działać przy niskim ryzyku i bez uprawnień."
Testowanie musi również obejmować red teaming, w którym specjaliści ds. bezpieczeństwa próbują złamać system lub zmanipulować jego zachowanie. Te ćwiczenia ujawniają podatności przed wdrożeniem systemów w środowiskach produkcyjnych. "Obecność człowieka w pętli zapewnia, że jeśli i kiedy twoje narzędzie AI zdecyduje się podjąć decyzję, której być może nie chciałeś, jest jakieś ograniczenie," mówi Harder. Techniki izolacji mogą również ograniczyć ryzyko. W niektórych architekturach agenci są zawierani wewnątrz maszyn wirtualnych, gdzie polityki ograniczają polecenia, które mogą wykonywać, i systemy, do których mogą uzyskać dostęp.
Nadzór zarządu ostatecznie ma znaczenie
Dla zarządów wzrost znaczenia agentowej AI stanowi wyzwanie związane z zarządzaniem i odpowiedzialnością, a Harder podkreśla, że organizacje pozostają odpowiedzialne za działania podejmowane przez ich systemy AI. "Nie możesz wrócić i powiedzieć: 'Nie wiedziałem, że to może to zrobić'," mówi. "Musisz dochować należytej staranności." Ta odpowiedzialność niesie ze sobą zarówno prawne, jak i powiernicze implikacje. Zarządy muszą zapewnić, że autonomiczne technologie są wdrażane z jasnym nadzorem, ograniczonymi uprawnieniami i ciągłym monitorowaniem. "Nie łącz agentów z uprzywilejowanymi narzędziami, dopóki nie możesz udowodnić, że mają ograniczone uprawnienia, punkty kontrolne przez ludzi i monitoring," mówi Harder. W miarę jak agentowa AI nadal przechodzi od eksperymentowania do podstawowych operacji, organizacje, które odniosą sukces, będą tymi, które traktują zarządzanie i bezpieczeństwo jako fundamentalne wymagania, a nie przemyślenia wtórne.
Śledź Laura I. Harder na LinkedIn aby uzyskać więcej informacji.
