LV digital protège ses annonces et génère de nouveaux revenus avec DataDome.

Le problème : des crawlers agressifs volent des données et provoquent des arrêts du site.

Pour tout marché ou portail d’annonces classées, les annonces sont les actifs les plus précieux. Cependant, puisque ces annonces doivent être disponibles publiquement sur le web pour attirer les acheteurs, il est très facile pour des acteurs peu scrupuleux de scraper et de voler ces données précieuses.

« Notre principal portail d’annonces classées s’appelle Traktorpool », explique Michael Romer, responsable produit et IT chez LV digital. « C’est un site dédié à la machinerie agricole d’occasion et aux pièces détachées, qui opère dans plus de cent pays et en vingt langues. Nous gérons également un autre portail très similaire, Baupool, qui cible le marché des machines de construction. »

Ce qui rendait le problème encore plus pressant, c’est que les scrapers parcouraient Traktorpool et Baupool si agressivement que l’infrastructure de LV digital était constamment sous pression. Bien que fonctionnant dans un environnement virtualisé, l’infrastructure sur site ne s’adapte pas dynamiquement à la hausse et à la baisse, il y a donc une limite à la charge qu’elle peut absorber. En conséquence, les scrapers agressifs et même les bons bots mettaient régulièrement les portails hors ligne.

Le troisième problème rencontré par LV digital était le spam de formulaire. Les portails d’annonces classées permettent aux acheteurs potentiels de contacter les vendeurs via un formulaire de contact, et les fraudeurs ciblaient également ce formulaire. Michael et son équipe ont fait leurs devoirs, ajoutant des Captchas et modérant les soumissions de formulaires avant qu’elles ne soient envoyées au vendeur, mais c’était une bataille constante.

« L’application de la loi et la modération du spam ne sont pas notre cœur de métier, et cela ne crée aucune valeur », souligne Michael. « Nous sommes vraiment bons pour réunir acheteurs et vendeurs de machines, c’est notre travail et c’est là que nous devrions mettre toute notre énergie. Nous ne sommes pas dans le business de prévention du scraping web, et nous avons appris à la dure que ce n’est pas une tâche facile. Peu importe ce que nous proposions, les fraudeurs trouvaient un moyen de contourner cela. Nous avions besoin de trouver une manière plus intelligente de protéger nos données. »

La solution : DataDome bloque efficacement les bots de scraping.

Pour trouver la meilleure solution à leurs problèmes de trafic de bots, Michael et son équipe ont initié à l’origine un processus de sélection très académique, en utilisant notamment des cartes de score. Mais ils n’auront finalement pas eu besoin de les utiliser.

« Il y a environ un an, nous avons rencontré des gens qui se trouvent être dans le business du scraping web », sourit Michael. « Nous avons développé une relation amicale avec eux, donc ils laissaient nos sites tranquilles. Un jour, autour d’une bière, nos amis opérateurs de scraping nous ont dit que si nous voulions vraiment protéger nos sites web, nous devrions opter pour DataDome. La protection contre les bots de DataDome leur rendait la vie très difficile ! »

L’équipe a compris que si les opérateurs de bots de scraping eux-mêmes disaient que DataDome offrait la barrière la plus efficace, ils ne pouvaient pas se tromper. « Alors nous avons juste avancé sans plus de complications, et nous ne l’avons pas regretté », rit Michael.

Ils ont rapidement installé le module DataDome pour Varnish, et ont testé la solution en mode d’essai gratuit. Le tableau de bord a confirmé leurs soupçons : environ 25 % de leurs ressources d’infrastructure étaient drainées par les bots de scraping. Armés de preuves concrètes, il n’a pas été trop difficile de sécuriser le budget et de passer à l’activation de la protection.

« L’intégration s’est déroulée de manière très fluide, un vrai plaisir », dit Michael. « En fait, je n’arrêtais pas de dire à mon patron et à mes collègues à quel point j’étais impressionné par le processus. Lorsque nous mettons en place de nouveaux systèmes critiques pour nous, cela prend généralement un certain effort pour les démarrer et passer les premières étapes. Avec DataDome, c’était vraiment simple et rapide. Cela nous a pris juste quelques jours pour passer des tests à la production. »

Les résultats : une disponibilité de 100 % et un retour sur investissement positif.

Les avantages ont été immédiats et tangibles.

« Comme je l’ai mentionné, l’un de nos problèmes était que nous avions ces situations régulières où les crawlers mettaient réellement notre site hors ligne », développe Michael. « Depuis que nous avons activé la protection DataDome, cela n’est jamais arrivé. Touchez du bois, nous avons maintenant une disponibilité de 100 %, ce qui n’était jamais le cas auparavant. »

Même si l’équipe était toujours consciente de l’activité agressive de scraping sur leurs sites web, le tableau de bord DataDome a fourni de nouvelles insights intéressantes.

« C’est assez révélateur », confirme Michael. « Même sans la protection, juste voir les chiffres et avoir une idée de ce qui se passe a sa propre valeur. »

Au moment de la rédaction de cet article, le plan d’hébergement de LV digital est toujours adapté aux niveaux de trafic avant DataDome. L’opportunité de réduire la capacité du data center devrait permettre des économies suffisantes pour couvrir entièrement les frais d’abonnement à DataDome. Et même sans ces économies, la solution a déjà généré un retour sur investissement positif.

« Nous avons pu trouver une nouvelle source de revenus, appelons-la une activité de données », révèle Michael. « Maintenant que les scrapeurs web ne peuvent plus simplement extraire les informations qu’ils veulent de nos sites, plusieurs entreprises d’intelligence de marché nous ont approchés pour acheter les données dont ils ont besoin pour leurs rapports et analyses. C’est un modèle d’affaires très intéressant pour nous, et ce revenu supplémentaire couvre à lui seul les dépenses que nous avons avec DataDome. Donc, tout bien considéré, c’est un très bon investissement ! »

Enfin, Michael et son équipe n’ont plus besoin de passer leur temps à protéger leurs portails des spiders : surveiller le trafic, bloquer les adresses IP, et développer des systèmes de sécurité internes.

« Nous avons pu arrêter de faire ces choses du jour au lendemain », note-t-il. « DataDome a libéré au moins 50 % du temps de l’un de mes ingénieurs, donc de ce point de vue également, cela paie. Ce temps est maintenant bien mieux investi : nous avons plus de bande passante pour travailler sur de nouvelles fonctionnalités que nos clients recherchent, et qui nous permettent de faire plus d’affaires. »

Une personne de l’équipe vérifie encore régulièrement le tableau de bord DataDome, mais surtout par curiosité et pour garder un œil sur ce qui se passe.

« Une fois DataDome configuré, nous avons pu plus ou moins l’oublier », confirme Michael. « Et c’est une autre raison pour laquelle j’aime vraiment cela : je ne veux pas devoir y aller tous les jours pour vérifier les choses et faire des ajustements et des réglages. Nous l’avons configuré une fois pour répondre à nos besoins, puis tout est automatisé. Il fait juste son travail. »

Il reçoit toujours l’email quotidien du système, qui donne un bref résumé de l’activité des bots de la journée de la veille sur les sites protégés.

« C’est toujours amusant de voir combien de méchants nous avons pu empêcher d’entrer », il sourit. « Et il n’y a aucune tâche associée. C’est l’email de “bonnes nouvelles” de la journée ! »