Comment bloquer PetalBot ?

Qu’est-ce que PetalBot ?

PetalBot est un crawler web intelligent développé par Petal Search pour collecter des données à partir de sites web et aider dans les efforts d’optimisation pour les moteurs de recherche (SEO). Il a été conçu pour être léger sur les serveurs web tout en fournissant des informations détaillées sur chaque page qu’il visite.

Petal Search alimente à la fois Huawei Assistant et les services de recherche en IA.

Quel est l’agent utilisateur de PetalBot ?

L’agent utilisateur de PetalBot est légèrement différent selon que l’on visite un site web sur un ordinateur ou sur un appareil mobile.

• Ordinateur : Mozilla/5.0 (compatible;PetalBot;+https://webmaster.petalsearch.com/site/petalbot)
• Appareil mobile : Mozilla/5.0 (Linux; Android 7.0;) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible;PetalBot;+https://webmaster.petalsearch.com/site/petalbot)

Quelle est la pression exercée par PetalBot sur un serveur web ?

PetalBot a été conçu pour exercer une pression minimale sur les serveurs web auxquels il accède. Cependant, il est recommandé aux webmasters d’activer la compression pour les pages visitées par le bot afin de minimiser la pression exercée sur le serveur pendant ses visites.

Comment bloquer PetalBot ?

Les webmasters qui souhaitent empêcher PetalBot de visiter leur site web doivent ajouter « petalbot » ou « petal bot » à leur fichier robots.txt et/ou utiliser un pare-feu d’application web (WAF) pour bloquer l’agent utilisateur d’accéder au serveur. Si vous avez une solution de gestion de bots comme DataDome, vous pouvez également vous assurer que PetalBot figure sur la liste de blocage.

Certaines personnes sur Internet ont noté que PetalBot ne respecte pas entièrement les règles définies dans un fichier robots.txt. Si vous êtes préoccupé par le trafic de PetalBot, vous devriez utiliser un logiciel de gestion des robots pour le bloquer complètement.

Conclusion

En conclusion, Petal Bot est un crawler web efficace et performant développé par Petal Search qui est léger sur les serveurs web tout en fournissant des données précieuses pour les efforts de référencement SEO. Les webmasters peuvent tirer profit des fonctionnalités du bot s’ils le désirent, ou choisir de le bloquer de leur site web avec les mesures appropriées.

Avec les bonnes mesures en place, les sites web peuvent profiter des fonctionnalités de PetalBot sans sacrifier leur sécurité ou leur vie privée. Les propriétaires de sites web pourront ainsi contrôler qui visite leurs pages et quelles données sont collectées. En fin de compte, c’est aux webmasters de déterminer s’ils utiliseront ou non cette ressource utile sur leurs sites web.