Comment Kuantokusta a mis fin au scraping de prix avec DataDome

KuantoKusta Supermercados, lancé en 2016, est une plateforme qui cherche à aider les utilisateurs à économiser du temps et de l’argent et à mieux gérer leur budget familial, en leur permettant de comparer les prix de leurs produits préférés dans les supermarchés à proximité.

En 2018, KuantoKusta devient également une marketplace. L’entreprise permet désormais à ses utilisateurs non seulement de comparer les prix des produits qu’ils recherchent, mais aussi d’effectuer l’achat. Dans une seule opération, avec un seul paiement, ils peuvent acheter un téléphone portable, une paire de chaussures et un parfum.

L’enjeu : assainir le trafic et stopper la fuite des données de prix

“Le premier indice de la présence de robots sur notre site était la mise à jour un peu trop rapide des prix de certains marchands”, se rappelle Paulo Pimenta, fondateur et CEO de KuantoKusta.

“Chaque fois que l’un de leurs concurrents baissait un prix à 99 euros, ces marchands proposaient tout de suite le même produit à 98,99 euros. C’était trop automatique, et nous nous sommes dit qu’il était impossible que des humains surveillent des milliers de prix en temps réel. Les marchands en question devaient recourir à des robots.”

À la même période, KuantoKusta était en train de préparer le lancement de son offre PriceBench, qui propose un service de veille concurrentielle aux marchands présents sur le site.

“Nous avons compris que le scraping non autorisé mettait en péril le succès de notre nouvelle offre”, constate Paulo. “PriceBench étant une solution payante, nous n’allions pas réussir à la vendre si les marchands pouvaient simplement envoyer des robots pour siphonner les prix directement sur le site”.

De plus, la mise à jour trop automatisé des prix engendrait des imbroglios : si un marchand faisait une erreur de saisie quand il changeait son prix, l’erreur se propageait également chez les imitateurs, avec pour résultat le mécontentement et les réclamations des consommateurs.

Pour mieux comprendre ce qui se passait, l’équipe s’est penchée sur les logs du site. Ceux-ci ont effectivement révélé un trafic automatisé très important, et donc un souci supplémentaire :

“Nous avons pris conscience du problème d’occupation de la bande passante”, raconte Paulo. “À certains moments, souvent à la même heure, le site devenait beaucoup plus lent, sans raison apparente. Nous avons découvert que c’était dû aux robots qui venaient à des heures précises et qui surchargeaient le site.”

À l’époque, le code de KuantoKusta était moins optimisé : la base de données n’était pas déconnectée du site, et les pics de trafic provoqués par les robots ralentissaient considérablement le site, surtout quand ils survenaient aux heures de pointe.

Comme beaucoup d’autres entreprises, KuantoKusta a d’abord essayé de résoudre le problème en développant une solution maison. Celle-ci permettait effectivement de bloquer les robots les moins sophistiqués, par exemple ceux qui généraient trop de requêtes par minute ou par heure d’une seule adresse IP. Malheureusement, cette détection basique basée uniquement sur l’IP générait de faux positifs.

“Pour donner un exemple”, sourit Paulo, “toute la police portugaise est passée derrière un VPN. Tous les commissariats avaient donc la même adresse IP publique. Si 50 policiers passaient leur pause déjeuner à comparer des prix sur KuantoKusta, le seuil de requêtes était atteint et ils étaient bloqués.”

Heureusement pour les budgets familiaux des gardiens de la paix, leur adresse IP a pu être débloquée manuellement. Néanmoins, Paulo et son équipe ont conclu qu’il valait mieux faire appel à des experts.

La solution : une protection fiable, facile à installer et sans latence

En 2015, les solutions anti-robot n’étaient pas légion. Dans un premier temps, KuantoKusta s’est donc associé au leader américain de ce marché naissant. La nouvelle solution s’est montrée efficace pour bloquer le trafic indésirable, mais l’équipe technique s’est trouvée face à plusieurs limitations techniques.

“L’architecture de cette première solution nous obligeait à rediriger nos DNS vers le fournisseur, ce qui augmentait le temps de chargement de nos pages de plus d’une seconde”, explique Paulo. “Et dans l’e-commerce, chaque milliseconde compte pour améliorer les taux de conversion”.

“De plus”, poursuit-il, “nous ne pouvions pas gérer la solution en autonomie. À chaque fois que je voulais changer quelque chose, il fallait envoyer un e-mail pour demander au fournisseur d’intervenir. Comme leur support technique se trouvait dans un autre fuseau horaire, et qu’ils n’étaient pas disponibles le samedi, c’était trop compliqué”.

Pour la deuxième tentative, le cahier de charge était donc clair : en plus de protéger efficacement le site, la solution anti-robot ne devait pas pénaliser les performances du site, et KuantoKusta devait garder le contrôle sur le trafic. Des critères auxquelles correspondait parfaitement DataDome.

“Après la première expérience, nous voulions être sûrs que la nouvelle solution soit techniquement au point”, analyse Paulo. “DataDome était une société encore jeune, mais la technologie nous semblait robuste, et l’installation vraiment très simple. C’était aussi l’une de nos conditions : je ne voulais pas devoir changer notre site, ni effectuer un grand travail d’intégration.”

Promesse tenue : avec une petite équipe technique, assistée par l’équipe Customer Success de DataDome, l’implémentation et la configuration n’ont pris que quelques jours.

Comme DataDome le conseille à tous ses utilisateurs, la protection n’a pas été activée pendant les deux premières semaines suivant l’installation. Cette période de simple observation, où tout le trafic est autorisé à passer, permet d’établir une baseline pour mieux comprendre la nature du trafic.

“Nous avons été très impressionnés par le nombre de bots différents qui passaient sur le site”, commente Paulo. “Je savais qu’il y en avait beaucoup, mais qu’il y ait des milliers par jour, c’était une sacrée surprise !”

Alors que certains robots sollicitait le site de façon exagéré et consommaient énormément de bande passante, d’autres ne parcouraient discrètement que 10 ou 50 pages. L’équipe a également constaté un nombre surprenant de robots étrangers, notamment chinois, qu’ils soupçonnent de provenir de concurrents qui font appel à des services ou des IP étrangers.

“Après cette phase d’analyse, avec le conseil et l’expérience de DataDome, nous avons créé notre liste d’autorisations et défini les réponses pour les autres robots. Comme ils sont clairement identifiés dans le dashboard, nous avons très rapidement pu commencer à gérer le trafic nous-mêmes”, conclut Paulo.

Les résultats : sécurité des données et performance stable

Avant l’activation de la protection, les robots représentaient environ 70 % du trafic total sur Kuantokusta.pt. Aujourd’hui, les robots indésirables sont efficacement bloqués par DataDome. Par conséquent, de nombreux robots ont tout simplement abandonné le site, de telle sorte que les tentatives indésirables d’accès ont fortement diminué.

“Dès l’activation de la protection, certains marchands se sont soudainement intéressés à PriceBench”, s’amuse Paulo. “Sans nous dire que leurs méthodes ne marchaient plus ou qu’ils étaient bloqués, tout d’un coup ils sollicitaient eux-mêmes le service. La corrélation entre le blocage et leur décision de souscrire à PriceBench était assez évidente.”

Quels autres bénéfices tire Kuantokusta de la protection DataDome ?

“Le principal avantage de DataDome est de protéger les données de prix, qui sont des actifs primordiaux pour nous”, affirme Paulo. “C’est la raison principale d’avoir une solution anti-robots : d’empêcher que les robots viennent voler le travail que nous faisons tous les jours.”

“Avec l’introduction de la Marketplace, il est également devenu important de sécuriser les données de nos utilisateurs,” poursuit-il. “Nous gérons désormais des données de login et des informations sur ce que les gens achètent, et pour être en conformité avec le RGPD, il faut protéger ces données. DataDome n’empêchera pas un humain d’essayer de forcer, mais nous n’avons pas à nous soucier des hackers qui lancent des robots pour tenter de voler les mots de passe”.

“Et enfin, nous n’avons plus de pics de trafic qui ralentissent ou font tomber le site. Avant DataDome, le site était parfois 2, 3 ou 4 secondes plus lent sans raison apparente. Ce n’est qu’après coup que nous pouvions constater que certaines adresses IP avaient consommé énormément de bande passante. Aujourd’hui, ces pics auraient moins d’impact puisque la base de données est maintenant déconnectée du site, mais pour optimiser la performance, il reste important de bloquer tout trafic indésirable.”

Pour conclure, le fondateur de Kuantokusta a-t-il une feature préférée ?

“En plus de savoir exactement ce qui se passe sur mon site, ce que j’apprécie particulièrement est de pouvoir prendre des décisions moi-même”, résume-t-il. “Je peux facilement autoriser des IP, changer les règles pour un domaine … bref, garder le contrôle, sans devoir demander à DataDome d’activer ceci ou changer cela. Par exemple, si nous changeons de fournisseur d’accès à Internet et que notre adresse IP change, je peux très facilement autoriser la nouvelle adresse moi-même”.

Dans la pratique, Paulo passe cependant peu de temps sur le dashboard DataDome.

“Quand tout va bien, je n’en ai pas besoin ! Je reçois un rapport quotidien par mail, et si quelque chose m’interpelle, je peux aller regarder de plus près. Mais moins je m’en occupe, mieux c’est. Si je n’ai pas besoin de mettre le nez dedans, c’est que ça fonctionne. C’est ce que nous cherchons chez nos partenaires : un travail d’équipe solide en amont, et ensuite que ça tourne tout seul.”