Kurt Geiger : « DataDome est une solution intéressante car elle est rapide à mettre en œuvre et on peut ensuite l’oublier. »

Le problème : des bots scrapers volent du contenu et ralentissent le site

Les premiers signes de l’activité d’un bot sur kurtgeiger.com sont apparus via divers systèmes de surveillance et d’alerte mis en place par l’équipe DevOps de l’entreprise.

« Nous avons commencé à observer une activité de plus en plus fréquente de la part de bots scrapers », explique Mugurel Margarit, responsable DevOps chez Kurt Geiger. « Ils indexaient notre contenu, notamment les descriptions de produits, les images et les prix. Nous avons également découvert que certains d’entre eux faisaient du scraping de nos prix sur notre site et sur ceux de nos concurrents pour pouvoir comparer les prix. »

Non seulement les visiteurs indésirables volaient des informations destinées aux humains, mais leur activité avait également un impact négatif sur les performances du site.

« Certains bots étaient un peu trop agressifs », explique Mugurel. « Notre infrastructure n’était pas suffisamment dimensionnée pour gérer un tel volume de requêtes. Bien qu’il n’y ait jamais eu de panne totale du site, les scrapers provoquaient des pics de trafic qui surchargeaient temporairement notre système dorsal et entraînaient des ralentissements. »

Mugurel et son équipe ont d’abord utilisé la fonctionnalité de limitation de débit de Nginx pour plafonner le nombre de requêtes provenant d’une seule adresse IP. Ils ont analysé le nombre de requêtes qu’un utilisateur normal effectuerait en naviguant sur le site web, ont fait le calcul et ont fixé une limite de débit par minute.

« C’était suffisamment efficace pour les bots les moins sophistiqués, mais comme vous pouvez probablement le deviner, beaucoup de scrapers web attaquaient à partir de nombreuses adresses IP différentes, » observe Mugurel. « Ils pouvaient donc fonctionner pendant un certain temps avant d’être bloqués pour cause de requêtes excessives. »

La solution : une protection contre les bots basée sur le SaaS parfaitement intégré à Nginx

L’équipe a décidé qu’il était temps de renforcer ses mesures de protection et a commencé à étudier le marché.

« Nous avons apprécié que DataDome propose une configuration entièrement autogérée, ce qui nous a permis d’évaluer la solution sans passer par le service commercial de l’entreprise », explique Mugurel. « L’intégration transparente avec Nginx a également été un avantage majeur. »

L’équipe a installé le module DataDome pour les sites web basés sur Nginx et a lancé l’essai gratuit. Dans le mode d’essai gratuit, le logiciel de détection de bots de DataDome analyse chaque requête envoyée au site web et affiche les données de trafic en temps réel dans le tableau de bord de l’utilisateur, mais ne bloque aucun trafic.

« Même si nous savions qu’il y avait beaucoup d’activité de bots sur notre site, nous avons été très surpris d’en découvrir le volume réel », se souvient Mugurel. « Nous avons donc rapidement décidé d’aller de l’avant et de mettre la solution en œuvre. L’équipe d’intégration de DataDome nous a très bien accompagnés. »

Avant d’activer la protection, l’équipe DevOps a travaillé en étroite collaboration avec le service marketing pour établir une liste de partenaires et d’outils autorisés à accéder en permanence au site. La liste des autorisations est ensuite très facilement mise à jour via le tableau de bord de l’utilisateur, par exemple si un partenaire existant change d’adresse IP ou s’il faut ajouter un nouveau partenaire.

Les résultats : une gestion optimisée des bots grâce à l’IA et aux règles personnalisées

L’équipe a pu observer sur le tableau de bord des volumes massifs de trafic bloqué dès que la protection a été activée. Comme tout ce trafic n’atteignait plus leurs serveurs, il y avait soudain beaucoup moins de pics et moins de pression sur les systèmes dorsaux.

« Ma fonctionnalité préférée est la détection de l’IA », explique Mugurel. « C’est très intéressant de voir comment elle bloque des bots dont j’ignorais l’existence. Les bots sont de plus en plus sournois, et il est agréable de savoir que DataDome suit le rythme des nouvelles menaces et les empêche de perturber notre site internet. »

L’équipe DevOps utilise également la fonction de règles personnalisées pour bloquer certains acteurs de l’écosystème avec lesquels elle a eu de mauvaises expériences, et prévoit également d’utiliser la fonction de limitation de débit pour gérer les conditions d’accès de certains partenaires. Mais pour le reste, elle laisse surtout la solution DataDome fonctionner en pilote automatique.

« Du point de vue des opérations, DataDome est une solution intéressante, car elle est rapide à mettre en œuvre et on peut ensuite l’oublier » explique Mugurel. « Une fois que vous l’avez déployée, vous n’avez plus rien à gérer, à part autoriser une nouvelle agence de référencement de temps en temps, ce genre de choses. La solution fonctionne sans que nous ayons besoin d’intervenir. »

Pour conclure, y a-t-il quelque chose que Mugurel aimerait partager avec ceux qui étudient la solution DataDome ?

« Je voudrais dire que l’assistance est toujours là pour ceux qui en ont besoin », dit-il. « Elle fonctionne très bien. Les quelques fois où nous en avons eu besoin, notre problème a été résolu très rapidement ou une nouvelle fonctionnalité a été mise en œuvre rapidement. Je suis donc vraiment satisfait de l’assistance jusqu’à présent. »