AI-agenter sårbara för minnesmanipulation
AI-agenter som hanterar miljoner dollar i kryptovaluta är sårbara för en ny oroande attack som manipulerar deras minnen, vilket möjliggör obehöriga överföringar till illvilliga aktörer. Detta framkommer i en nyligen genomförd studie av forskare från Princeton University och Sentient Foundation, som identifierar sårbarheter i AI-agenter inriktade på kryptovaluta, däribland dem som använder det populära ElizaOS-ramverket.
Forskningens bakgrund
Enligt Princeton-studenten Atharv Patlan, som är medförfattare till artikeln, har ElizaOS:s popularitet bidragit till valet av plattformen för studien. ”ElizaOS är en populär agent baserad på Web3 med omkring 15 000 stjärnor på GitHub, vilket gör att den används i stor utsträckning,” sa Patlan till Decrypt. ”Att en så allmänt använd agent har sårbarheter motiverade vår forskning.”
Eliza Labs lanserade projektet under namnet ai16z i oktober 2024, ett open-source ramverk för att skapa AI-agenter som interagerar med och fungerar på blockkedjor. Plattformen bytte namn till ElizaOS i januari 2025.
Angrepp och sårbarheter
En AI-agent är ett autonomt program designat för att uppfatta sin omgivning, bearbeta information och vidta åtgärder för att uppnå specifika mål utan mänsklig interaktion. Enligt studien är dessa agenter, som används för att automatisera finansiella uppgifter, vilseledda genom ”minnesinjektion”—ett nytt attackvektor som lägger in illvilliga instruktioner i agentens beständiga minne.
”Eliza har ett minnesförråd, och vi försökte mata in falska minnen genom att låta någon annan genomföra injektionen på en annan social medieplattform,” förklarade Patlan.
AI-agenter som förlitar sig på sentiment från sociala medier är särskilt sårbara för manipulation. Angripare kan använda falska konton och samordnade inlägg, kända som en Sybil-attack, för att vilseleda agenter till att fatta handelsbeslut. ”En angripare skulle kunna utföra en Sybil-attack genom att skapa flera falska konton på plattformar som X eller Discord för att manipulera marknadssentimentet,” står det i studien.
Säkerhetsåtgärder och framtida forskning
En minnesinjektion är en attack där illvillig data injiceras i en AI-agents lagrade minne, vilket leder till att agenten återkallar och agerar på falsk information. Trots att attackerna inte direkt riktar sig mot blockkedjorna, förklarade Patlan att teamet utforskade hela utbudet av ElizaOS:s funktioner för att simulera en verklig attack. ”Den största utmaningen var att lista ut vilka verktyg som skulle exploateras,” berättade han.
Patlan nämnde att studiens resultat har delats med Eliza Labs och att diskussioner pågår om vidare åtgärder. Efter att ha demonstrerat en framgångsrik attack med minnesinjektion på ElizaOS utvecklade teamet en formell benchmark-ram för att utvärdera om liknande sårbarheter finns i andra AI-agenter.
Tillsammans med Sentient Foundation utvecklade forskarna från Princeton CrAIBench, ett benchmarkverktyg för att mäta AI-agenters motståndskraft mot kontextmanipulation. En viktig insikt från forskningen är att skydd mot minnesinjektion kräver förbättringar på flera nivåer.
”Förutom att förbättra minnessystemen behöver vi också förbättra språkmodellerna för att bättre kunna särskilja mellan illvilligt innehåll och vad användaren faktiskt avser,” sade Patlan.
Eliza Labs svarade inte omedelbart på förfrågningar om kommentar från Decrypt.
