Велики језички модели постају све бољи у томе да нас запамте. Било да се ради о навикама у куповини, стилу писања или роковима на пројектима, AI асистенти све више користе дугорочну меморију како би разговори деловали персонализованије.
Међутим, према најновијем истраживању научника са Универзитета у Новом Мексику, управо би ова функција могла да постане једна од највећих безбедносних рањивости вештачке интелигенције, преноси Б92.
Истраживачи су демонстрирали нови облик напада под називом „GhostWriter“, који је способан да тајно „убаци“ лажна сећања у AI агенте. Уместо да директно украде информације, овај напад манипулише оним што AI памти. То представља суптилну, али изузетно значајну промену у сајбер-безбедности – уместо напада на сам модел, хакери сада циљају његову меморију, што може навести систем да доноси опасне одлуке дуго након што је сам напад извршен.
GhostWriter функционише тако што тихо убацује злонамерне информације у дугорочну меморију AI агента путем скривених упита или непоузданог екстерног садржаја. За разлику од досадашњих напада који утичу само на један разговор, лажна информација овде остаје трајно скривена. Она се активира тек касније, када AI несвесно повуче ту „отровану“ меморију док одговара на неки потпуно легитиман захтев корисника.
У пракси, последице могу бити озбиљне. Уколико је меморија асистента компромитована, нападач би могао да га изманипулише да, на пример, поверљиве имејлове из банке тајно проследи на туђу адресу. Такође, AI би због измењених података могао да запамти погрешне контакт информације, лажне рокове или измишљене чињенице, и то само зато што је неко успео да промени оно што асистент верује да је истина.
ПОВЕЗАНЕ ВЕСТИ
У експериментима са најсавременијим AI агентима, GhostWriter је постигао стопу успешности убацивања меморије од чак 98%, док су злонамерна сећања касније успешно активирана у око 60% случајева.
Ови забрињавајући подаци сугеришу да данашње меморијске архитектуре још увек нису спремне да разликују поуздане информације од манипулативних уноса, због чега су истраживачи већ предложили нови одбрамбени оквир AM-Sentry за строжу контролу и филтрирање података.
