Comment configurer DataDome pour autoriser les bons bots ?

Lorsque vous utilisez un système de détection de bots, l’objectif est de :

1. Bloquer les mauvais bots.
2. Permettre l’accès aux humains.
3. Authentifier, autoriser et gérer les bons bots.

Bloquer le trafic des mauvais bots sans impacter l’expérience utilisateur (UX) est un défi commun et fréquemment discuté. Cependant, gérer correctement les bons bots et le trafic des partenaires est également extrêmement important—puisque bloquer de bonnes sources de trafic peut impacter votre activité commerciale. Chez DataDome, nous soulignons l’importance d’identifier les bons bots et partenaires par rapport aux mauvais bots, et nous travaillons dur pour que notre solution soit équipée pour faire la différence.

Comment authentifier les bons bots

La chose la plus importante lorsqu’il s’agit d’authentifier les bons bots est d’utiliser un mécanisme d’authentification sûr.

Utiliser uniquement l’user-agent pour l’authentification est dangereux car cela vous expose aux attaquants, qui sont connus pour concevoir leurs propres user-agents et prétendre être de bons bots afin d’accéder à votre site. Par exemple, de nombreux attaquants forgent leur user-agent pour correspondre à celui utilisé par Googlebot dans l’espoir que leur demande soit autorisée.

Vous pouvez utiliser différentes techniques pour authentifier en toute sécurité les bons bots et votre trafic partenaire automatisé. Les exemples de techniques d’authentification incluent un jeton dans un en-tête, une liste d’adresses IP ou de plages d’IP, ainsi que le DNS inversé.

Comment DataDome authentifie les bons bots et le trafic partenaire automatisé

DataDome dispose d’une base de données de milliers de bons bots, principalement des bots de marketing et de SEO tels que Googlebot, Bingbot, Semrush scraper, etc. Pendant l’essai gratuit et tout au long de la phase d’intégration, DataDome étiquette et classe uniquement votre trafic—il ne le bloque pas ou ne le met pas au défi.

Pendant l’intégration, le support vous aidera à configurer correctement vos différents points de terminaison, et les analystes examineront votre trafic pour affiner la détection si nécessaire. Nous utilisons également cette période pour identifier le trafic des partenaires et des bons bots et assurer que vos partenaires soient correctement autorisés en les classant comme trafic de bon bot/partenaire automatisé.

Dans le tableau de bord DataDome, vous pouvez voir le type de réponse pour les bons bots, les bots partenaires et les bots de marketing/SEO. Certains d’entre eux sont autorisés par défaut, comme Googlebot, qui bénéficie aux sites Web en indexant leur contenu.

D’autres bots de SEO, comme Semrush et Ahrefs, sont initialement bloqués par défaut. Cependant, si l’un de ceux-ci est un partenaire ou un outil que vous utilisez, les utilisateurs de DataDome peuvent utiliser votre tableau de bord pour changer vos règles pour autoriser Semrush et/ou Ahrefs.

De plus, si vous souhaitez autoriser certains bots à atteindre votre site seulement à certains moments, vous pouvez utiliser la fonction de planification horaire de DataDome, également disponible dans le tableau de bord.

Que se passe-t-il si DataDome ne connaît pas l’outil/le produit que j’utilise ?

Si votre outil est complètement interne et unique, nous pouvons vous aider à créer une règle personnalisée pour autoriser votre trafic en toute sécurité.

Sinon—si c’est un outil générique—nos analystes en cybersécurité l’ajouteront à notre base de données de bons bots connus pour authentifier automatiquement le bot en toute sécurité, en utilisant l’adresse IP à jour ou le DNS inversé.