SNCF Connect & Tech réduit ses coûts et son empreinte carbone liés au scraping avec DataDome

Le problème : les scrapers faussent les indicateurs de performance et gonflent les coûts d’infrastructure

Avec 125 millions de billets vendus en 9 mois en 2022 sur SNCF Connect, regroupant 3 millions de visites chaque jour en moyenne sur son site et son application mobile, SNCF Connect & Tech est un poids lourd de l’e-commerce français. Cependant, l’épidémie de Covid-19 a mis ses équipes à rude épreuve.

« Avec les différentes restrictions liées à la crise sanitaire, nous avons eu des flux de trafic imprévisibles et très complexes », explique Thomas Aligand, Lead Run Manager et Coordination Transverse chez SNCF Connect & Tech. « Nous avons notamment eu des pics d’affluence énormes lors de certaines annonces du gouvernement, mais dans l’ensemble, les Français ont moins voyagé pendant cette période, et il y avait beaucoup moins de trafic humain sur notre site. »

Thomas et son équipe suivent une multitude d’indicateurs pour s’assurer du bon état de santé du système d’information, et en particulier le « look to book », qui correspond au ratio entre le nombre de recherches et le nombre de mises en panier. Lors des premiers confinements, contrairement aux années précédentes, cet indicateur a fortement augmenté.

« Pendant cette période, nous avons connu des ratios 3 à 4 fois supérieurs à la normale, »précise Thomas. « Cela traduisait un comportement inédit : faire énormément de recherches, mais peu de mises en panier. »

En creusant le sujet, la direction du système d’information a découvert qu’une grande partie des requêtes venaient non pas de vrais voyageurs, mais de scrapers récupérant les prix des billets.

« Il fallait trouver le moyen de bloquer ce trafic, qui non seulement faussait les indicateurs de performance, mais représentait également une charge inutile sur l’infrastructure », confirme Thomas.

La solution: DataDome élimine les scrapers du site web et de l’application mobile

Déjà équipée d’un WAF, l’équipe a commencé par définir un grand nombre de nouvelles règles – sans beaucoup de succès.

« C’était le jeu du chat et de la souris, et nous avons vite rencontré de nouvelles contraintes techniques, reconnaît Thomas. « Plus on bloquait d’IPs, plus les scrapers généraient de nouveaux IPs pour pouvoir nous appeler. En essayant de stopper l’hémorragie, nous l’avons plutôt fait augmenter. Par le passé, nous avions déjà tenté de mettre en place une solution industrielle ‘maison’ qui s’est avérée complexe à suivre et à maintenir. Nous ne voulions plus gérer nous-même cette partie et avons donc décidé de nous tourner vers un partenaire externe.

Pour trouver rapidement une solution plus pérenne, les membres de l’équipe ont cherché conseil auprès de leurs homologues dans d’autres grandes entreprises de l’e-commerce. C’est lors d’une discussion avec un grand groupe européen que le nom de DataDome a surgi. 

« Nous avons rencontré leurs équipes, qui ont partagé leur excellente expérience avec DataDome », raconte Thomas. « Suite à cet échange, nous avons donc contacté DataDome pour étudier la pertinence de la solution. La simplicité de l’implementation avec AWS Lambda@Edge m’a agréablement surpris : entre le début du projet et la mise en production, nous n’avons mis que deux semaines. »

La protection a d’abord été activée en priorité sur le site web puis élargie à l’application mobile afin de bloquer l’ensemble des robots.

« Nous avons ajouté le SDK DataDome pour protéger également l’application », observe Thomas. « Les équipes de DataDome ont bien compris l’enjeu que nous avions avec cette chasse aux scrapers, et se sont rendues très disponibles pour nous accompagner. »

Les résultats : Réduction de coûts et d’empreinte carbone

Les équipes de SNCF Connect & Tech ont rapidement pu constater les gains apportés par la solution DataDome.

« Depuis la mise en place de DataDome, nous avons réussi à diviser le trafic de bad bots par 3 ou 4 », affirme Thomas. « Quand on implémente ce genre d’outils, beaucoup de scrapers se démotivent et vont voir ailleurs. En éliminant le trafic indésirable, DataDome nous permet d’avoir une production mieux dimensionnée, donc moins coûteuse — environ 10% d’économies sur notre infra — et plus durable. »

Une autre mesure de succès du projet est la préservation de l’expérience utilisateur.

« La protection n’a aucun impact sur la performance de notre site, ni sur le temps de lancement de l’application mobile », confirme Thomas.

Dans le cas où les clients seraient considérés comme des robots malveillants, leurs appels se retrouvent bloqués et un CAPTCHA leur est présenté afin de confirmer s’il s’agit d’un humain ou d’un robot.

« Nous suivons ce taux de blocage des clients qui résolvent le Captcha et ce dernier reste extrêmement bas. De plus, le CAPTCHA développé par DataDome, que nous utilisons, s’avère très efficace et intuitif, plus facile à résoudre par les vrais clients que les CAPTCHAs dits classiques », dit Thomas.

Pour finir, Thomas salue l’excellente collaboration avec ses différents interlocuteurs chez DataDome.

« C’est une équipe formidable. Le support est toujours disponible et prêt à nous aider. Pour l’ODV Noël, nous avons prévenu l’équipe ‘threat research’ pour qu’elle soit prête au cas où il y aurait des ajustements à faire. L’ODV s’est très bien déroulée. »