Sommario
Un recente studio ha rivelato che il modello di intelligenza artificiale DeepSeek-R1 è vulnerabile a prompt attacks, esposizione di dati sensibili e generazione di contenuti insicuri. La criticità principale risiede nella sua capacità di eseguire Chain of Thought (CoT) reasoning, un processo che permette di visualizzare i passaggi logici seguiti per arrivare a una risposta, ma che può essere sfruttato dagli attaccanti per ottenere informazioni riservate.
Chain of Thought e il rischio di attacchi mirati
Il Chain of Thought reasoning è una tecnica avanzata che migliora le capacità logiche dei modelli AI, consentendo loro di suddividere problemi complessi in passaggi intermedi. Questa funzionalità è utilizzata in modelli come DeepSeek-R1, OpenAI O1 e O3-mini, migliorando la precisione delle risposte in ambiti matematici e decisionali.
Tuttavia, la trasparenza del processo CoT espone il modello a prompt injection e data leakage, poiché ogni passaggio del ragionamento viene mostrato tra tag speciali all’interno delle risposte generate. Gli attaccanti possono sfruttare questa caratteristica per estrarre informazioni sensibili che il modello non avrebbe dovuto rivelare.
Prompt injection: una nuova forma di attacco AI
I prompt attack si verificano quando un attaccante formula richieste manipolate per indurre un modello a fornire informazioni riservate o a superare le restrizioni di sicurezza. Attraverso strumenti di red teaming come NVIDIA Garak, i ricercatori hanno dimostrato che è possibile sfruttare DeepSeek-R1 per estrarre dati riservati, rivelare le sue istruzioni interne e aggirare le protezioni di sistema.
Gli attacchi più efficaci includono:
- Rivelazione del prompt di sistema: il modello può essere ingannato per rivelare le proprie istruzioni operative, che spesso contengono dettagli su API interne e credenziali nascoste.
- Bypass delle protezioni: con tecniche di jailbreaking, gli hacker possono far eseguire al modello azioni vietate, come la generazione di codice malevolo.
- Furto di dati sensibili: il modello può accidentalmente includere informazioni riservate nelle sue risposte, a causa della gestione errata del CoT reasoning.
DeepSeek-R1 e la fuga di dati: un problema strutturale
Uno degli aspetti più preoccupanti emersi dall’analisi è che DeepSeek-R1 tende a rivelare informazioni sensibili all’interno dei tag , anche quando il prompt dell’utente non lo richiede esplicitamente. Questo comportamento è stato riscontrato durante i test, in cui il modello ha accidentalmente rivelato chiavi API e dettagli di configurazione.
La vulnerabilità è particolarmente grave nelle applicazioni aziendali che utilizzano AI per processi decisionali o gestione di dati riservati. Se non adeguatamente protetti, questi modelli possono esporre segreti industriali senza che gli utenti ne siano consapevoli.
Difese contro gli attacchi AI: le contromisure necessarie
Per mitigare il rischio di questi attacchi, gli esperti consigliano di filtrare i contenuti CoT prima di restituire le risposte agli utenti, impedendo così l’accesso ai dati sensibili. Inoltre, è fondamentale implementare strategie di red teaming, che includano test continui con strumenti di simulazione di attacchi, per identificare e correggere vulnerabilità prima che possano essere sfruttate.
DeepSeek-R1 rappresenta un esempio di come l’intelligenza artificiale avanzata possa diventare un’arma a doppio taglio se non adeguatamente protetta. Con l’evoluzione dei modelli AI, le aziende dovranno affrontare nuove sfide in termini di sicurezza informatica e protezione dei dati.
