Qu’est ce que la gestion de bots ? Le rôle d’un gestionnaire de bots dans la maîtrise du trafic robotisé

Saviez-vous qu’environ la moitié du trafic Internet mondial provient de bots ? Donc, si vous avez un site web, il y a de fortes chances qu’il y ait une quantité significative de trafic de bots sur votre réseau. C’est pourquoi la gestion des bots est très importante pour toute entreprise en ligne, et investir dans un bon gestionnaire de bots (ou logiciel de détection des bots) est désormais une nécessité.

Dans ce guide, nous vous présentons le concept de gestion des bots ainsi que la manière dont un gestionnaire de bots peut vous aider à contrôler le trafic des bots et à protéger la sécurité de votre site.

Qu’est-ce que la gestion des bots ?

La gestion des bots est la pratique consistant à identifier chaque bot individuel sur votre réseau et à comprendre leurs objectifs pour répondre de manière appropriée. Un bot utile, comme un outil de SEO ou Googlebot et Bingbot, doit être autorisé à accéder à votre site web afin que vous soyez bien classé dans les résultats des moteurs de recherche. Les bots malveillants, comme ceux qui ont l’intention de voler votre contenu ou empêcher vos vrais utilisateurs d’accéder à votre site web, doivent être bloqués immédiatement. La gestion des bots implique à la fois de détecter l’activité des bots et de déterminer leur intention, qu’elle soit malveillante ou non.

Il y a deux défis majeurs dans la gestion des bots :

1. Faire la distinction entre le trafic légitime des utilisateurs humains et le trafic des bots.
2. Faire la distinction entre les bots ayant de bonnes intentions (bons bots) et ceux ayant des intentions malveillantes (mauvais bots).

Les bots d’aujourd’hui sont extrêmement sophistiqués, ce qui rend leur détection difficile. Ils peuvent imiter des comportements humains comme l’utilisation de mouvements de souris non linéaires et de clics aléatoires, donc faire la distinction entre les utilisateurs humains et les bots est très difficile sans les bonnes solutions de lutte contre les bots.

Et rappelez-vous, tous les bots ne sont pas mauvais. Il y a des bons bots qui peuvent être bénéfiques pour votre site – par exemple, Googlebot explore les sites web et les indexe afin que les gens puissent les trouver sur Google. Si vous voulez que votre site soit répertorié sur Google, alors vous ne devriez pas bloquer Googlebot, mais vous devriez bloquer les bots malveillants lorsqu’ils apparaissent.

Ainsi, une bonne pratique de gestion des bots consiste en deux choses :

1. Détection efficace du trafic des bots malveillants
2. Contrôle/atténuation du trafic hostile des bots

Comment fonctionne la gestion des bots ?

L’un des deux défis majeurs de la gestion des bots est de différencier le trafic légitime des utilisateurs humains du trafic des bots. Lorsqu’un gestionnaire de bots bloque incorrectement des visiteurs humains, on appelle cela un faux positif.

D’un autre côté, si nous avons trop peur des faux positifs, il y a également un risque accru de laisser entrer trop de bots, provoquant ainsi des faux négatifs.

Les bots malveillants d’aujourd’hui sont devenus très habiles à imiter les comportements humains. Les bots peuvent maintenant utiliser les technologies d’IA et d’apprentissage automatique pour créer intelligemment des comportements humains apparemment aléatoires comme les clics et les frappes de clavier. Ainsi, un gestionnaire de bots basé sur l’IA qui peut également utiliser l’apprentissage automatique est désormais une nécessité pour contrer ces bots sophistiqués.

Une approche courante utilisée par de nombreux logiciels de gestion des bots est de montrer un CAPTCHA aux utilisateurs suspectés d’être des bots, afin qu’ils prouvent qu’ils sont humains. Cependant, les CAPTCHAs traditionnels ne sont plus très efficaces, surtout avec la popularité des services de fermes à CAPTCHA, qui payent des utilisateurs humains pour résoudre des CAPTCHA traditionnels avant de transmettre la connexion aux bots malveillants.

Vous pouvez en savoir plus sur la manière dont les bots contournent les CAPTCHA ci-dessous.

Pour éviter à la fois les faux positifs et les faux négatifs, votre solution de gestion des bots doit être capable de :

• Gérer les retours d’informations en utilisant une boucle de rétroaction en temps réel pour atténuer les changements de comportement soudains et spectaculaires.
• Identifier efficacement les anomalies et ajuster les mesures d’atténuation en conséquence.
• S’adapter dynamiquement aux nouveaux schémas en temps réel via un apprentissage automatique (machine learning, ou ML) itératif.
• Utiliser à la fois l’empreinte digitale (navigateur, OS, version, etc.) et des approches basées sur le comportement pour distinguer les utilisateurs humains des bots.

Pourquoi les solutions de gestion des bots sont-elles importantes ?

Les bots sont plus efficaces à grande échelle ; ils attaquent en masse, et en trouver un signifie généralement que des centaines ou des milliers d’autres échappent à la détection. Les attaques évolutives doivent être contrées par des défenses évolutives, et le tri manuel des bots par des humains n’aura aucune chance contre l’ampleur des attaques de bots d’aujourd’hui.

D’une façon générale, il y a trois avantages principaux à avoir une solution de gestion des bots adéquate :

1. Détection et identification en temps réel des activités des bots

Un gestionnaire de bots efficace doit être capable de différencier les bons bots des bots malveillants, puis d’identifier ceux qui se font passer pour des utilisateurs humains. L’idée centrale d’une pratique de gestion des bots est de tirer parti des bons bots tout en limitant ou en bloquant les activités des bots malveillants.

De plus, même si les bons bots n’ont pas d’intentions malveillantes, ils ne sont pas tous utiles pour votre site web, donc une gestion appropriée des bons bots est toujours nécessaire pour éviter le gaspillage inutile de ressources. Par exemple, si vous ne servez pas le marché chinois, laisser les bots de crawl de Baidu explorer votre site est sans doute inutile.

Un bon gestionnaire de bots peut identifier différentes catégories de bons bots, définir des signatures et des empreintes digitales de bots acceptables (analyse basée sur l’empreinte digitale) et analyser les activités des bots (analyse basée sur le comportement). Le gestionnaire de bots doit être capable de faire une évaluation en temps réel de l’intention du bot.

2. Atténuation de l’impact négatif des bots sur les performances du site web

Même les bons bots ne sont pas bénéfiques 100% du temps, et ils peuvent consommer des ressources lorsque le trafic est intense. Un bon gestionnaire de bots peut vous aider à gérer le trafic des bons bots en fonction de la charge actuelle de votre site web et d’autres indicateurs.

Par exemple, nous pouvons ralentir les bons bots pendant les heures de pointe. Le gestionnaire de bots peut rediriger ou réduire le trafic des bots pendant les heures de forte affluence pour garantir des performances optimales du site web et minimiser le taux de rebond (ainsi que les pertes de ventes).

3. Contrôle des activités malveillantes des bots

Enfin, un gestionnaire de bots doit contrôler les activités malveillantes des bots. Les mauvais bots peuvent causer divers impacts négatifs, allant du vol de votre contenu aux attaques de scalping, en passant par les attaques de credential stuffing et de force brute jusqu’à une attaque DDoS à grande échelle.

Mais tout comme l’application de règles statiques pour détecter le trafic des bots n’est pas suffisante, l’application de réponses statiques au trafic automatisé sophistiqué ne suffit plus. Un bon logiciel de détection des bots doit fournir des réponses aux attaques optimisées pour chaque type de menace.

En plus de bloquer durement les bots malveillants, la bonne solution de gestion des bots peut utiliser diverses méthodes comme le ralentissement/l’étranglement du débit auquel le bot peut recevoir des informations, le détourner ou lui fournir de fausses informations (honey pots) pour contrôler ses activités.

Comment détecter les bots : bons bots vs. mauvais bots

Un autre défi majeur de la gestion des bots est de différencier les bons bots des bots malveillante. De nombreux opérateurs de bots créent divers bots pour effectuer de nombreuses tâches différentes, donc il n’est pas toujours simple de connaître l’impact qu’un bot peut avoir. Une détection efficace des bots signifie comprendre le but d’un bot, en plus de pouvoir le détecter.

Il est important pour les entreprises et les solutions de gestion des bots de comprendre les différents types de bots, leurs cas d’utilisation potentiels et comment chacun peut affecter le business et l’infrastructure informatique.

Les bons bots

Bots d’indexation des moteurs de recherche

L’exemple le plus courant de bots souvent considérés comme « bons » sont les robots d’indexation des moteurs de recherche comme Googlebot, Bingbot, et d’autres bots de Yahoo!, Yandex, et d’autres. Les bots d’indexation peuvent être bénéfiques pour votre site web car ils lui permettant d’être indexé et classé sur les moteurs de recherche respectifs.

Bots partenaires

Selon votre modèle commercial, vous pouvez autoriser les bots des revendeurs et des services tiers à extraire le contenu de votre site web. Vos solutions tierces peuvent également utiliser des bots pour effectuer des tâches spécifiques sur votre site.

Par exemple, votre outil de SEO peut déployer son bot sur votre site pour effectuer des analyses SEO ou pour optimiser automatiquement votre site web.

L’impact des bons bots peut varier, mais généralement, ils suivront les instructions et les politiques définies dans votre fichier robots.txt, afin que vous puissiez les contrôler s’ils utilisent une grande quantité de ressources, par exemple.

Les bots malveillants

Les mauvais bots sont tous les bots programmés pour agir de manière malveillante, comme les scrapers ou ceux qui effectuent des attaques DDoS pour submerger les ressources du serveur d’un site web. Pour les gérer, vous aurez besoin d’une bonne protection contre les bots.

Comprendre les risques des bots non gérés

Avant d’apprendre comment arrêter les attaques de bots, il est important de comprendre les risques qu’ils présentent. La détection des bots repose sur la compréhension de l’intention d’un bot, qui est généralement l’une des suivantes.

Scraping

Les bots scrapers ciblent vos sites web, applications et API pour en extraire des données précieuses qui seront ensuite utilisées à des fins malveillantes. Le scraping peut cibler vos prix, produits, contenus et tout ce qui est publiquement disponible.

Certain scrapers sont acceptables (dans ce cas, ils sont généralement appelés « crawlers »), comme Googlebot et les bots partenaires, mais la plupart des scrapers dégradent les performances et épuisent vos ressources.

Scalping

Les scalper bots enlèvent tout le plaisir du shopping en ligne. Ils achètent ou réservent des produits rares en quelques secondes, ruinant les lancements de produits et l’expérience des vrais clients. Les scalper bots sont également connus sous le nom de bots d’achat, bots de shopping ou sneaker bots.

Les catégories de produits populaires pour le scalping sont la billetterie, les baskets ou les produits tech très attendus comme une nouvelle carte graphique ou une console. Mais tout produit en édition limitée avec un prix de détail raisonnablement élevé est une cible potentielle.

Account takeover (ATO)

La fraude par acccount takeover se produit lorsque des bots malveillants accèdent à des comptes en ligne. Les attaquants utilisent ensuite les informations précieuses dans ces comptes pour commettre une usurpation d’identité, une fraude au paiement, ou simplement pour les vendre sur le marché noir.

Comme le client se trouve en plein milieu d’une attaque ATO, cela nuit à la réputation de votre entreprise et doit être évité à tout prix. Un seul ATO peut briser la confiance des clients que vous avez mis des années à construire.

Credential stuffing

L’un des moyens par lesquels les hackers accèdent aux comptes en ligne est le credential stuffing. Les bots de credential stuffing utilisent des bases de données de combinaisons de login et de mots de passe volés pour essayer d’accéder aux comptes des utilisateurs.

S’ils réussissent, cela conduit à une prise de contrôle de compte (account takeover) pouvant avoir des conséquences graves et coûteuses. Mais même s’ils échouent, les bots de credential stuffing consomment énormément les ressources de votre site web, pouvant même le mettre hors ligne. Et comme les gens utilisent souvent le même nom d’utilisateur et mot de passe pour plusieurs sites, un compte compromis peut entraîner de graves conséquences sur plusieurs sites.

Attaques par force brute

Les attaques par force brute se produisent lorsque les hackers envoient des bots automatisés pour tester un grand nombre de solutions à un problème. L’attaque par force brute la plus courante est celle de deviner les mots de passe ; un bot qui testera des millions de combinaisons pour accéder à des informations protégées par mot de passe.

La puissance de ces bots leur permet de tester un grand nombre de combinaisons en très peu de temps. Cela épuisera également les ressources de votre site web et pourrait éventuellement conduire à la divulgation d’informations confidentielles.

Création de faux comptes

Certains bots doivent créer de faux comptes clients pour faire leur travail. Par exemple, les bots de shopping créeront souvent plusieurs faux comptes pour s’emparer de plusieurs exemplaires du même produit en une seule fois. Ces types de bots passent par votre page d’inscription et entraîneront un grand nombre de comptes d’utilisateurs apparemment vides dans vos bases de données d’utilisateurs.

Ces faux comptes ne servent pas seulement à acheter des produits automatiquement. Ils peuvent influencer les avis sur les produits, diffuser de fausses informations et propager des logiciels malveillants (malware). Il est dans votre intérêt de supprimer les faux comptes sans affecter la capacité des utilisateurs à s’inscrire sur votre site web ou application.

Attaques DDoS

Une attaque DDoS utilise des botnets pour essayer de submerger votre serveur ou réseau jusqu’à ce qu’il ralentisse considérablement ou plante. L’intention est de rendre vos produits et services indisponibles pour vos utilisateurs.

Certains botnets y parviennent en affluant en grand nombre sur votre site web, application mobile ou API (une attaque volumétrique), tandis que d’autres attaques DDoS sont plus spécifiques et ciblent un aspect particulier d’une application ou d’un serveur (comme le point de terminaison WordPress de vos sites WordPress).

Comment gérer les bots avec la solution de gestion des bots de DataDome

La bonne approche de gestion des bots ne consiste plus simplement à bloquer tout le trafic provenant des bots, mais à envisager plusieurs options pour gérer les différents types de trafic des bots : de la diffusion de contenu alternatif au ralentissement de la vitesse du trafic. La solution de gestion des bots DataDome détecte et évite les bots malveillants avec une précision inégalée et sans compromis. Vous pouvez utiliser notre calculateur pour avoir une vue d’ensemble du ROI d’une solution de gestion des bots.

Questions fréquemment posées

Que fait un gestionnaire de bots ?

Un gestionnaire de bots protège vos sites web, applications mobiles et API contre le trafic des bots indésirables ou malveillants en bloquant leur accès. Il le fait tout en laissant passer les bots que vous avez ajoutés à votre liste blanche, ainsi que les bons bots comme Googlebot. Le bon gestionnaire de bots libérera vos ressources informatiques tout en vous protégeant contre les attaques en ligne nuisibles.