Palo Alto Network Unit 42 rivela i primi 10 rischi per la sicurezza degli agenti AI
Guarda l’ultima produzione video techrider.ro
-Il articolo continua di seguito –
Applicazioni di intelligenza artificiale agente Il programma da utilizzare Agente AI – Software progettato per raccogliere dati autonomi ed eseguire azioni per gestire le funzioni per scopi specifici. Poiché gli agenti di intelligenza artificiale sono ampiamente adottati in applicazioni del mondo reale, è essenziale comprendere le implicazioni di sicurezza.
Dagli agenti ai sistemi sperimentali alle applicazioni su scala di produzione, l’aumento dell’autonomia pone nuove sfide di sicurezza. In Rapporto globale“Gli agenti di intelligenza artificiale sono qui. Non solo minacce, ma anche minacce”, lo United 42 di Palo Alto Network rivela che gli architetti degli agenti di oggi sono vulnerabili a una vasta gamma di attacchi nonostante l’innovazione.
Per valutare l’entità di questi rischi, i ricercatori dell’unità 42 hanno costruito due agenti identici funzionali, costruiti usando la Crewai e l’altro usando Autogen. Nonostante le differenze nell’architettura, entrambi i sistemi hanno le stesse vulnerabilità e abbiamo confermato che i problemi di base non sono specifici per il framework. Invece, le minacce derivano da errata configurazione, progettazione incerta di istruzioni e integrazione integrata insufficiente. Questo è un problema che trascende le opzioni di implementazione.
Minacce relative all’uso di agenti di intelligenza artificiale
Questo rapporto presenta 10 minacce principali che indicano le istituzioni in perdite di dati, sfruttamento degli strumenti, esecuzione del codice remoto e altro ancora.
- L’iniezione rapida e rapida è troppo grande
L’iniezione incoraggia rimane un potente vettore, che consente agli aggressori di manipolare il comportamento dell’agente, ignorare le istruzioni e abusare degli strumenti integrati. Anche senza la classica sintassi di iniezione, le istruzioni vagamente definite sono facili da funzionare.
- Il rischio di agnosticismo per i framework
La maggior parte delle vulnerabilità non provengono da framework (come Kuruwai e Autogen), ma dalle definizioni ambigue dei campi della progettazione dell’applicazione: delegazione volontaria del ruolo, politiche di accesso inappropriato e prompt.
- Integrazione di strumenti non sicuri
Molte applicazioni agenti integrano strumenti (come moduli eseguibili in codice, clienti SQL, raschiatura Web, ecc.) Con un controllo di accesso minimo. Queste integrazioni ampliano notevolmente la superficie di attacco degli agenti se non correttamente sanificati.
- Esponendo credenziali
Gli agenti possono esporre erroneamente le credenziali del servizio, i token o le chiavi API, consentendo agli aggressori di intensificare i privilegi o imitare l’agente da diversi ambienti.
- Esecuzione del codice illimitato
Gli interpreti del codice all’interno dell’agente consentono le prestazioni di compiti utili se non protetti da sandbox. Deriver può utilizzarli per accedere a file, reti o servizi di metadati per aggirare frequentemente i tradizionali livelli di sicurezza.
- Mancanza di difesa a strati
La puntualità unica è insufficiente. Una solida posizione di sicurezza richiede una profonda strategia di difesa che combina l’integrazione rapida, il monitoraggio dell’esecuzione, la convalida di input e la separazione a livello di contenitore.
- Pronta integrazione
Gli agenti devono essere costituiti da definizioni rigorose sul ruolo e richieste di rifiuto al di fuori dei campi di applicazione predefiniti. Ciò riduce le possibilità di manipolare con successo il bersaglio o rivelare le istruzioni.
- Filtraggio del contenuto in esecuzione
L’ispezione effettiva di input e uscite, come le richieste di filtraggio per i modelli di attacco noti, è essenziale per essere rilevati e mitigati quando vengono visualizzate le minacce dinamiche.
- Informazioni sulla disinfezione dallo strumento
Convalida strutturata degli input – controlli in formato, tipo imposto, limiti di valore – è essenziale per prevenire l’iniezione di SQL, compiti utili di malformazione o uso inappropriato tra agenti.
- Sandbox per esecutore di codice
L’ambiente di esecuzione dovrebbe mettere in quarantena l’archiviazione temporanea per limitare l’accesso alla rete, eliminare le caratteristiche non necessarie del sistema e ridurre l’impatto delle potenziali violazioni.
Questo studio ha simulato scenari di attacco con implicazioni pratiche
Per spiegare questi rischi, Unità 42 ha implementato un assistente di investimento multi-agente per simulare nove scenari di attacco. Includono:
Estrarre istruzioni per lo schema agente e dispositivo
Sfruttando ingegneria rapida, gli aggressori sono stati in grado di elencare tutti gli agenti interni, ripristinare le definizioni delle attività e comprendere l’API dell’attrezzatura che promuove gli attacchi a valle.
Furto di credenziali con servizi di metadati
Utilizzando uno script di Python dannoso iniettato nell’esecutore del codice, l’attaccante sta accedendo al punto finale dei metadati del GCP ed exftratta il token di servizio.
SQL Iniezione e Exploit della triglia
Gli agenti basati sull’ingresso non valido nell’interrogazione del database hanno influenzato sia l’iniezione di SQL sia l’approvazione difettosa degli oggetti (approvazione a livello di oggetti trasparenti BOLA), consentendo agli aggressori di leggere dati arbitrari dall’utente.
Iniezione indiretta di prompt
I siti Web dannosi incorporano istruzioni che consentono agli agenti di inviare la cronologia delle conversazioni degli utenti alle aree gestite dagli aggressori, evidenziando i rischi associati alla navigazione autonoma o agli strumenti di lettura.
Ognuno di questi scenari utilizza omissioni di progettazione generali piuttosto che vulnerabilità a zero giorni. Ciò sottolinea l’urgente necessità di modellizzazione standardizzata di minacce e pratiche sicure di sviluppo delle agenzie.
Strategie di difesa raccomandate
Il rapporto evidenzia che mitigare queste minacce richiede il controllo complessivo.
- Miglioramenti, i prompt di miglioramento dovrebbero limitare la perdita di istruzioni, limitare l’accesso agli strumenti e imporre restrizioni sulle attività.
- Il filtraggio del contenuto deve essere applicato sia prima che dopo l’inferenza per rilevare modelli anomali nelle interazioni degli agenti.
- L’integrazione dello strumento deve essere rigorosamente testata utilizzando analisi statiche, dinamiche e di dipendenza.
- Gli ambienti di esecuzione del codice devono utilizzare sandbox rigorosi come filtro di rete, limiti SYSCall e limiti di memoria.
Palo Alto Networks raccomanda un approccio di difesa a strati. Queste soluzioni forniscono visibilità sul comportamento degli agenti, monitorano l’uso inappropriato delle attrezzature del generatore di terze parti e impongono politiche aziendali sull’interazione degli agenti.
L’intelligenza artificiale dell’agente non dovrebbe essere lasciata sul lato secondario
Gli agenti ascendenti degli agenti indicano l’importante evoluzione dei sistemi autonomi. Tuttavia, come mostrano Unity 42 Discoveries, la loro sicurezza non dovrebbe essere un’idea in seguito. Le applicazioni di agenzia estendono la superficie delle vulnerabilità LLM integrando strumenti esterni, consentendo l’auto-correzione e la distribuzione di modelli di comunicazione complessi.
Per proteggere questi sistemi, hai bisogno di più di una cornice robusta. Sono richieste una scelta di progettazione deliberata, un monitoraggio continuo e difese stratificate. Con le aziende che iniziano ad adottare le aziende agricole, è tempo di tenere la sicurezza e stabilire pratiche di sviluppo che si evolvono con l’intelligenza che costruiscono.