Comment DataDome protège les applications d’IA contre les attaques par Prompt Injection et Denial of Wallet

Nous savons que les plateformes d’IA générative comme ChatGPT peuvent causer des problèmes potentiels pour d’autres sites web avec l’utilisation de leurs bots, en collectant du contenu pour le redistribuer sans lien vers la source d’origine. Mais les LLM ont gagné en popularité et en sophistication, ce qui en fait une cible précieuse pour les acteurs malveillants, et les menaces associées ont pris de l’ampleur.

La synthèse de Forrester sur le RSAC 2024 a noté que les entreprises devront investir dans la sécurisation des outils d’IA générative au cours des prochaines années, et nous sommes tout à fait d’accord. À mesure que l’utilisation de l’IA se développe, nous assistons à des attaques menées par des bots ciblant le grand modèle de langage (LLM) lui-même : la LLM prompt injection et le denial of wallet. Toute application ou point de terminaison API qui permet à un utilisateur final (y compris potentiellement un attaquant) d’interagir avec un LLM – par exemple, un chatbot d’assistance qui fait des requêtes à un LLM via une API – peut être utilisé pour effectuer ces attaques.

Qu’est-ce que l’injection de prompt LLM et pourquoi est-ce important ?

Les systèmes d’IA générative s’entraînent sur de grands volumes de données pour fournir leurs réponses, et ils s’entraînent également sur les entrées des utilisateurs. L’injection prompt implique de manipuler les LLM avec des entrées spécialement conçues (prompts) visant à influencer le modèle pour amener le modèle à oublier des instructions antérieures ou à fournir des résultats inattendus. Cette technique exploite les capacités de traitement du langage naturel des LLM pour générer des réponses conformes aux objectifs de l’attaquant.

L’injection de prompts peut conduire à :

• La manipulation des résultats de l’IA : si des acteurs malveillants peuvent manipuler les réponses générées par les LLM, l’IA peut produire des informations incorrectes, trompeuses ou nuisibles.
• Des risques pour la sécurité : les attaquants peuvent exploiter des vulnérabilités dans les systèmes qui dépendent des LLM pour des tâches critiques, ce qui conduit à un accès non autorisé à des informations sensibles, des perturbations du système, ou même à la manipulation des processus de prise de décision automatisés.
• La désinformation : les acteurs malveillants peuvent injecter des prompts spécifiques contenant de la désinformation, ce qui peut avoir des implications étendues, surtout si le contenu manipulé est utilisé dans la communication publique, les médias ou sur d’autres plateformes influentes.
• Une confiance des utilisateurs ébranlée : si les utilisateurs réalisent que les réponses des systèmes d’IA peuvent être manipulées, leur confiance dans ces systèmes peut être compromise. Cela peut être particulièrement dommageable pour les entreprises et services qui dépendent de l’IA pour l’interaction avec le client, l’assistance ou la génération de contenu.
• Des impacts économiques : la manipulation des résultats de l’IA peut entraîner des pertes financières, en particulier si les injections rapides influencent l’analyse du marché, les décisions commerciales ou d’autres domaines économiquement sensibles.
• Des problèmes réglementaires et de conformité : les organisations utilisant des systèmes d’IA doivent se conformer à diverses réglementations et normes. Les attaques par prompt injection peuvent entraîner des violations de ces réglementations, entraînant des conséquences légales et des pénalités financières.
• Des perturbations opérationnelles : les injections de prompts peuvent perturber le fonctionnement normal des systèmes alimentés par l’IA, entraînant des temps d’arrêt, une productivité réduite et une charge de travail accrue pour les équipes informatiques et de sécurité qui doivent identifier et atténuer ces attaques.
• Une expérience utilisateur compromise : les réponses manipulées peuvent dégrader l’expérience utilisateur, causant frustration et insatisfaction parmi eux. Cela peut entraîner une perte de clients et nuire à la réputation de la marque.

Qu’est-ce que le denial of wallet et pourquoi est-ce important ?

Chaque résultat généré coûte quelque chose à l’entreprise, en particulier en termes de coûts opérationnels tels que la charge des serveurs et la consommation d’énergie. La plupart des entreprises utilisent des instances basées sur GPU pour effectuer des inférences, ce qui est coûteux – vous ne voulez donc fournir de la puissance de calcul qu’à des utilisateurs humains réels. Nous observons également la création de faux comptes par des fraudeurs, soit manuellement, soit par l’intermédiaire de bots, afin qu’ils puissent bénéficier d’essais gratuits et éviter de payer pour des produits d’IA.

Les attaques de denial of wallet (DoW) envoient des milliers de requêtes automatisées à un outil d’IA générative, submergeant le système avec très peu d’efforts de la part du fraudeur. Des attaques DoW encore plus sournoises agissent comme des DDoS « lents et discrets », effectuant des attaques à un rythme qui passerait inaperçu sans logiciel de détection de bots, car même les approches de limitation de taux basées sur l’IP échoueraient à les reconnaître comme des attaques. Ces attaques peuvent causer des pertes financières importantes pour une entreprise si elles ne sont pas atténuées, et potentiellement même perturber complètement le service d’IA.

Comment arrêter la prompt injection et le denial of wallet ?

Les bots permettent aux attaquants d’intensifier leurs attaques et leurs opérations de fraude, ce qui réduit les coûts tout en augmentant les revenus potentiels. Par conséquent, la prompt injection et le denial of wallet sont principalement le fait de bots. Le meilleur moyen d’arrêter ces attaques est d’investir dans un logiciel puissant de lutte contre les bots comme DataDome, qui :

• Identifie les bots en temps réel, dès la première requête. Une lutte efficace contre les bots ne consiste pas à examiner les bots qui étaient sur votre site il y a dix minutes, mais à examiner les bots qui attaquent en ce moment. Les outils d’IA générative ont besoin d’un logiciel capable d’atténuer les bots dès le départ, de manière constante ;
• Surveille chaque point de terminaison, partout. Étant donné que de nombreux LLM sont accessibles via une API à partir d’applications comme les chatbots, vous ne pouvez pas vous fier uniquement à la protection des sites web pour sécuriser votre outil d’IA générative. En particulier, votre protection doit surveiller les points de terminaison de création de comptes (pour arrêter l’abus des essais gratuits) et les API d’inférence des LLM.
• Analyse des milliers de signaux, pas seulement quelques-uns. Les signaux côté client et côté serveur sont essentiels pour identifier les bots les plus sophistiqués. DataDome collecte autant d’informations que possible, qui sont ensuite traitées par un algorithme d’apprentissage automatique multicouche pour localiser et bloquer les bots malveillants. Notre outil collecte plus de 5 000 milliards de signaux à travers le web, chaque jour, que nous pouvons utiliser pour améliorer notre protection.
• Détecte les bots sans nuire à l’expérience utilisateur. Notre puissant traitement à la périphérie identifie le trafic de bots en moins de 2 millisecondes, garantissant à nos clients une protection sans que leurs utilisateurs ne voient jamais d’écran de chargement.
• Offre une précision inégalée, sans compromis. Nous ne lésinons pas sur les moyens lorsqu’il s’agit de protéger nos clients. Avec un taux de faux positifs de 0,01 %, notre solution CAPTCHA intégrée et notre outil invisible Device Check, vos utilisateurs rencontreront rarement – voire jamais – un défi bloquant leur accès.
• S’intègre facilement à toute architecture. La protection DataDome se déploie en quelques minutes à travers plus de 50 intégrations côté serveur et côté client, y compris des configurations multi-cloud et multi-CDN, pour assurer la sécurité et la protection de nos clients dès le départ.

Protégez les applications d’IA avec DataDome

DataDome a pris les devants au fur et à mesure que les outils d’IA génératifs se sont développés, depuis l’examen des avantages et des inconvénients potentiels de l’autorisation de ChatGPT à accéder à votre contenu jusqu’à la construction de notre propre outil ChatGPT Companion pour permettre la création de règles de blocage personnalisées afin de protéger votre entreprise. Nous continuons à collecter des signaux provenant d’attaques chaque jour, maintenant notre protection à jour pour attraper les menaces les plus récentes et les plus importantes pour nos clients dans le monde entier. Les outils d’IA générative ont besoin d’une protection contre les attaques automatisées sophistiquées ; et DataDome offre une protection de premier ordre avec une précision inégalée.

Pour un aperçu rapide des bots simples contre lesquels votre site n’est pas protégé, essayez notre outil BotTester. Vous pouvez obtenir un aperçu plus approfondi de la manière dont DataDome peut protéger votre site contre même les menaces les plus sophistiquées en réservant une démonstration ou en démarrant un essai gratuit.