Rue du Commerce : “L’optimisation de l’expérience utilisateur passe par le bot management”

Site 100 % disponible
Fin du scraping des prix et des fiches produits
Site ultrarapide, #1 du classement webperf en France
DataDome
Table des matières
Scraping
28 Mar, 2019
|
min
Fondé en 1999, Rue du Commerce compte parmi les pionniers du e-commerce en France. D’abord spécialiste et leader sur le secteur high-tech, les fondateurs ont décidé d’en faire la première marketplace française. Aujourd’hui, le site propose plus de 10 millions d’offres.

Début 2016, Rue du Commerce est racheté par le Groupe Carrefour. La nouvelle équipe se donne pour objectif de se démarquer de la concurrence par l’excellence opérationnelle et se lance dans un vaste chantier de modernisation du site.

DataDome
Cette prouesse a nécessité de nombreux efforts, allant de la restructuration de l’architecture à l’optimisation minutieuse du CSS et des images. Cependant ces transformations n’avaient pas d’impact sur la qualité du trafic, les bad bots s’avèrent être un véritable danger pour le site.

“L’expérience utilisateur est extrêmement importante pour nous. En tant que marketplace généraliste, il est difficile de se différencier par les produits. Mais nous pouvons être les meilleurs d’un point de vue technique,” commente Jean-Michel Colas, DSI chez Rue du Commerce.

Le challenge : des serveurs saturés par un trafic inutile, voire malveillant

Disposant d’infrastructures robustes et sécurisées, Rue du Commerce était toutefois régulièrement confronté au problème des robots malveillants, comme tout site e-Commerce. Les robots parcourent l’ensemble des applications e-Commerce (site web, apps mobiles, APIs) pour récupérer les prix, les descriptions produits, l’état des stocks, ou même pour pirater les données utilisateurs et les transactions financières.

L’activité intense de ces bad bots a pour principale conséquence de rendre les applications visées indisponibles (attaques DDoS) tout en faisant courir des risques de sécurité majeurs aux éditeurs.

Les équipes techniques de Rue du Commerce et de ses hébergeurs étaient régulièrement réquisitionnées pour parer ces attaques dès leurs détection et empêcher le site de tomber.

La charge pesant sur les serveurs et sur les ressources humaines par la multiplication des déclenchement d’astreinte a amené Rue du Commerce à se pencher sur le traitement à la source du problème : la gestion du trafic automatisé.

L’analyse a montré que le trafic du site était composé à 30% de robots malveillants avec un impact significatif sur l’utilisation des ressources techniques. Décision a donc été prise d’installer une solution de protection contre les bots.

La solution : DataDome élimine le trafic des bad bots

La mise en place de DataDome chez Rue du Commerce a été gérée directement par les équipes de l’e-commerçant, soutenues par Boris Trehin, Onboarding Manager chez DataDome.

”Nous commençons par autoriser tous les partenaires, avec une vérification des listes de bad bots et de bots commerciaux pour nous assurer qu’aucun partenaire ne sera bloqué. A l’étape suivante, nous personnalisons les Captcha et enfin nous définissons les endpoints à protéger,” explique Boris.

DataDome propose également la possibilité de créer des règles en temps réel (Custom Rules) définies par l’utilisateur afin d’adapter sa protection à ses besoins. Les intérêts commerciaux de Rue du Commerce étant principalement en France, l’entreprise a choisi de présenter un Captcha à chaque requête effectuée hors de France – tous les autres pays étant considérés comme suspects par défaut.

L’équipe technique de Rue du Commerce a également créé une autre règle afin de permettre à Fasterize, un partenaire, d’effectuer des tests intensifs sur le site sans jamais être bloqué.

Les résultats : records de performance et tranquillité d’esprit

Dès l’activation de la protection DataDome, la consommation de bande passante a été réduite de 30% à 40%, libérant ainsi les ressources pour l’expérience utilisateur des clients légitimes. En effet, là où un utilisateur lambda ne visitera qu’une quinzaine de pages en moyenne, un robot scrapeur s’appliquera à crawler à chacun de ses passages (parfois plusieurs fois par jour) les millions d’URL dont Rue du Commerce dispose, surchargeant inutilement le site. Les bots étant bloqués dès l’entrée, l’expérience utilisateur s’en trouve grandement améliorée.

Des pics de trafic importants sont bien sûr régulièrement observés mais cela est dorénavant uniquement lié à l’activité commerciale de Rue du Commerce, comme les périodes de soldes, Noël, le Black Friday ou encore les French Days réunissant de plus en plus d’adeptes en France.

Rue du Commerce bénéficie, en plus d’outils traditionnels de suivi de visite, d’un dashboard en temps réel, permettant à ses équipes infra d’ajuster en temps réel ses propres règles et d’autoriser ou non certains partenaires à accéder au site.

Rue du Commerce s’est d’ailleurs hissé au sommet du podium des sites français les plus performants sur mobile. L’exploit est le résultat du travail de fourmi effectué par les équipes web, UX et marketing sur le code HTML, avec la contribution de la solution DataDome pour éliminer l’ensemble du trafic entrant indésirable.

Articles liés