Salesforce ogłosił wdrożenie nowych funkcjonalności w ramach platformy Agentforce 360, które mają służyć do monitorowania działania autonomicznych agentów sztucznej inteligencji. Ruch ten następuje w momencie, gdy firma raportuje niemal trzykrotny wzrost wdrażania rozwiązań AI w ciągu ostatniego roku. Nowe narzędzia obserwowalności (observability tools) mają stanowić odpowiedź na palący problem sektora biznesowego, jakim jest brak wystarczającej kontroli nad decyzjami podejmowanymi przez algorytmy w środowisku korporacyjnym oraz obawy o stabilność systemów przy pracy na dużą skalę.
Opublikowany w listopadzie raport Salesforce wskazuje na wzrost implementacji AI o 282 proc. w porównaniu z rokiem 2024. Tak gwałtowna adopcja technologii, choć korzystna dla dostawców oprogramowania, niesie ze sobą istotne wyzwania związane z bezpieczeństwem danych i zarządzaniem ryzykiem operacyjnym. Przedsiębiorstwa, przechodząc z bezpiecznej fazy projektów pilotażowych do wdrażania rozwiązań w realnych procesach biznesowych, napotykają trudności w weryfikacji poprawności działania agentów. Odpowiedzią producenta na te obawy ma być pakiet narzędzi analitycznych, które mają zapewnić wgląd w „czarną skrzynkę”, jaką często są dla firm systemy AI.
W skład nowego rozwiązania wchodzą moduły analityczne i optymalizacyjne. Funkcja Agent Analytics ma pozwalać firmom na śledzenie efektywności botów oraz identyfikację obszarów, w których ich wydajność spada lub generuje błędy. Z kolei narzędzia do optymalizacji mają zapewniać wgląd w proces decyzyjny sztucznej inteligencji. Według zapewnień Salesforce, administratorzy systemów otrzymają możliwość prześledzenia ścieżki, która doprowadziła agenta do konkretnej konkluzji. Teoretycznie pozwoli to na diagnozowanie luk w wydajności, wykrywanie halucynacji czy niespójnych wyników, a następnie korygowanie promptów lub źródeł danych, na których opiera się algorytm.
Istotnym elementem zaprezentowanego pakietu jest monitoring kondycji agentów (Agent Health Monitoring). Rozwiązanie to ma w czasie zbliżonym do rzeczywistego alarmować o anomaliach, takich jak awarie, nieuzasadnione przestoje czy generowanie nieprawidłowych odpowiedzi, zanim spowodują one szkody wizerunkowe lub operacyjne. Technologicznie całość opiera się na modelu śledzenia sesji (Session Tracing Data Model), który loguje interakcje w bazie Data 360, oraz na infrastrukturze MuleSoft Agent Fabric, służącej do rejestrowania i kontrolowania agentów. Skuteczność tych zabezpieczeń w złożonych, wielowątkowych środowiskach produkcyjnych będzie musiała jednak zostać zweryfikowana przez rynek.
Jako przykład wdrożenia nowych mechanizmów kontrolnych Salesforce przywołuje platformę Reddit. John Thompson, wiceprezes ds. strategii sprzedaży w Reddicie, wskazuje, że narzędzia te pozwalają zrozumieć sposób, w jaki AI nawiguje reklamodawców przez skomplikowane narzędzia systemowe. Podkreśla on, że kluczowe dla skalowania rozwiązań jest nie tylko samo rozwiązanie problemu przez bota, ale pełne zrozumienie genezy decyzji podjętej przez maszynę po drodze. Wprowadzenie tych funkcji sugeruje, że branża technologiczna zaczyna dostrzegać, iż sam entuzjazm związany z automatyzacją nie wystarczy, a warunkiem koniecznym do utrzymania klientów korporacyjnych staje się transparentność i mitygacja ryzyka, które niosą ze sobą nieprzewidywalne zachowania modeli językowych.
