Carsforsale bénéficie d’une protection en temps réel contre les bots de scraping grâce à DataDome

Carsforsale.com est une plateforme logicielle pour les concessionnaires automobiles, qui aide plus de 22 000 concessionnaires auto à se connecter avec les acheteurs de voitures via une gamme d’outils de vente et de marketing. Lorsque leur précédente solution de protection contre les bots a été abandonnée, l’équipe d’ingénierie a évalué plusieurs fournisseurs et a choisi DataDome. Aujourd’hui, Carsforsale bénéficie d’un trafic propre sur son site web et sur les sites qu’il fournit aux concessionnaires, et les ingénieurs de l’entreprise peuvent concentrer leur énergie à développer d’excellents logiciels automobiles.

Le problème : des scrapers qui ciblent le contenu et épuisent les ressources

Comme tous les marchés, Carsforsale.com et les sites web personnalisés qu’ils fournissent pour les concessionnaires auto sont des cibles attractives pour les bots tentant de scraper et d’exploiter le contenu en ligne.

« Nous préférons concentrer nos efforts d’ingénierie dans notre domaine d’expertise, qui n’est pas la lutte contre les bots », dit Nick Johnson, Responsable Ingénierie Logicielle chez Carsforsale. « Il y a toujours eu des bots. Nous savions que des acteurs malveillants s’introduisaient dans nos systèmes, et nous pouvions les voir, mais le fait de les surveiller et d’atténuer les effets de tous les nouveaux venus représentait un défi trop important. Cela nous éloignait également de notre cœur de métier, qui est de fournir d’excellents logiciels pour nos concessionnaires et les consommateurs qui visitent notre site. »

Carsforsale possède son propre matériel, et même les attaques majeures de bots scrapeurs n’ont jamais vraiment menacé de mettre à terre ses sites. Néanmoins, l’équipe d’ingénieurs n’a pas apprécié les tentatives de scraping ni l’épuisement des ressources qu’elles représentaient.

« Parfois, nous remarquions des problèmes de performance », observe Nick. « Les bots parcouraient nos sites d’une manière que les utilisateurs normaux ne pouvaient pas faire, et en conséquence, nous avons dû augmenter un peu notre échelle pour nous assurer de pouvoir gérer cet afflux. »

Pour atténuer ce trafic indésirable de bots, l’équipe a utilisé un produit sur site pendant un certain temps. Puis leur solution a été abandonnée et remplacée par une version basée sur le cloud.

« Puisque nous devions de toute façon utiliser les serveurs du fournisseur, nous avons décidé de regarder ce qui était disponible sur le marché, et peut-être de trouver une solution qui correspondrait mieux à nos besoins », explique Nick.

La solution : une détection des bots en temps réel et rentable

L’équipe a entamé des conversations avec plusieurs fournisseurs, mais beaucoup ont été immédiatement éliminés en raison de coûts prohibitifs.

Pour choisir parmi la liste restreinte de solutions qui se sont avérées efficaces pour identifier et bloquer les bots, et qui restaient dans la fourchette de prix que Carsforsale était prêt à dépenser, les critères de sélection les plus importants étaient la convivialité et le temps de latence.

« Nous voulions que la convivialité et la création de rapports soient meilleures que ce qu’offrait la solution précédente », note Nick. « Nous n’avions pas beaucoup de visibilité sur ce qu’ils bloquaient réellement et pourquoi, et nous voulions de meilleures informations sur les décisions qui étaient prises. »

Habituée à un produit sur site, l’équipe voulait également s’assurer que la nouvelle solution n’aurait pas d’impact négatif sur la performance. Avec plus de 25 points de présence mondiaux, DataDome a passé le test haut la main.

« Nous ne savions pas à quoi nous attendre en termes d’impact sur la performance, alors nous avons réalisé un test pour vérifier le temps de réponse dans le système de DataDome pour déterminer si nous avions affaire à un bot ou non. Les résultats étaient très satisfaisants », confirme Nick.

Les résultats : protection en temps réel et rapports détaillés

Une fois que l’équipe d’ingénieurs a décidé de confier la protection contre les bots de Carsforsale à DataDome, elle a voulu la rendre opérationnelle rapidement.

« La mise en œuvre a été très rapide », se souvient Nick. « Nous avons fait quelques modifications dans HAProxy, et inséré un extrait de JavaScript dans le produit frontal. Cela n’a pris qu’une journée à deux personnes, et nous avons vraiment apprécié l’attention de l’équipe d’intégration de DataDome. Ils ne nous ont jamais laissés seuls et n’ont jamais attendu que nous posions des questions. Ils ont veillé à ce que nous comprenions comment utiliser le produit et à ce que nous obtenions les mesures que nous souhaitions. Nous avons vraiment eu l’impression d’un partenariat, plutôt que d’une simple transaction commerciale. »

Puisque l’ancienne solution n’avait pas fourni de rapports très détaillés, l’équipe a été surprise par la quantité et la variété des bots – environ la moitié du trafic total du site – qu’ils ont découverts dans le tableau de bord DataDome.

« J’apprécie la précision obtenue », dit Nick. « Nous pouvons avoir une vue d’ensemble et voir le pourcentage de bots malveillants, de bons bots et de bots commerciaux, mais nous pouvons aussi creuser dans ces catégories et obtenir une granularité très fine, jusqu’à une seule requête. Cela nous aide à comprendre le raisonnement qui sous-tend les décisions de blocage et la façon dont les bots sont classés, et nous donne l’assurance que DataDome prend les bonnes décisions pour nos utilisateurs »

Le tableau de bord rend également facile l’ajout de règles personnalisées, que l’équipe de Carsforsale utilise principalement pour autoriser les bots commerciaux amis. Par exemple, les partenaires SEO sont autorisés à scraper le site web à des fins d’analyse. Mais dans l’ensemble, l’équipe consacre désormais très peu de temps et d’énergie aux problèmes liés aux bots.

« Comme je l’ai dit initialement, nous ne voulons pas être des experts en bots. S’associer à une entreprise comme DataDome nous permet de concentrer notre énergie à développer des solutions automobiles », conclut Nick. « Quelqu’un de l’équipe consulte régulièrement le tableau de bord juste pour vérifier certaines choses, mais pour la plupart, DataDome fonctionne en pilote automatique. Cela nous apporte beaucoup de tranquillité d’esprit. »