PremgoBot, notre robot d'indexation
PremgoBot parcourt le Web français pour construire l'index du moteur de recherche Premsgo. Cette page décrit son identité, ses règles de politesse, son périmètre et la marche à suivre pour l'exclure d'un site.
01Identité du robot
- Nom
- PremgoBot
- User-Agent
Mozilla/5.0 (compatible; PremgoBot/4.0; +https://premsgo.fr/bot; recrawl-anti-bot-juin-2026)- Exploité par
- Premsgo — moteur de recherche français (S.N.A.F.)
- Contact
contact@premsgo.fr- Rôle
- Découverte et indexation des pages publiques francophones
02Règles de politesse
- Mêmes chemins que Googlebot et Bingbot. PremgoBot lit le robots.txt de chaque site et se limite aux zones publiques autorisées aux grands moteurs : ni plus, ni moins.
- Jamais de saturation de serveur. Chaque adresse IP visitée respecte un délai minimum de 3 secondes entre deux requêtes.
- Hébergeurs mutualisés protégés. Sur une IP hébergeant de très nombreux sites (au-delà de 18 000 sites sur une même adresse), le débit est plafonné à 3 connexions par seconde au maximum.
- Zones sensibles ignorées par défaut. Les chemins d'authentification et d'administration —
/login,/connexion,/admin, pages d'inscription — ne sont pas suivis, et aucune tentative d'authentification n'est effectuée. - Identification transparente. Chaque requête porte le User-Agent ci-dessus, qui renvoie vers cette page et indique ouvertement la campagne en cours.
03Périmètre français
PremgoBot est dédié au Web francophone : seules les pages en français sont conservées dans l'index de Premsgo.
Sur un site multilingue, PremgoBot suit en priorité le chemin français (par exemple /fr/). Une page en langue étrangère peut être parcourue, mais elle est écartée de l'index français : la langue de chaque page est vérifiée à l'analyse (attribut lang de la page), et toute page non francophone est automatiquement exclue de l'index. En clair : une version /en/, /de/ ou /es/ n'apparaîtra jamais dans les résultats de Premsgo.
04PremgoBot V4 — capacités
Europe 2027
- Parallélisme, pas matraquage : le débit provient du traitement simultané de milliers de sites, jamais de la sollicitation intensive d'un serveur unique. Chaque site individuel reste protégé par les délais de politesse ci-dessus.
- Rendu adaptatif : collecte HTTP standard, avec rendu JavaScript complet (navigateur headless) pour les sites dynamiques.
- Filtrage francophone à l'analyse : chaque page collectée est qualifiée par langue avant indexation ; seul le contenu français est retenu.
05Déploiement européen — début 2027
Après le Web français, Premsgo prépare l'extension de son index à l'ensemble du Web européen, avec une ouverture prévue pour le début 2027.
L'infrastructure de crawl actuelle, conçue pour se démultiplier horizontalement, dispose en déploiement de masse d'une capacité de quatre milliards de pages par jour — de quoi maintenir un index européen frais, complet et souverain, dans le respect des mêmes règles de politesse qu'aujourd'hui.
Ce déploiement s'inscrit dans une démarche de souveraineté numérique européenne : un moteur de recherche indépendant, opéré depuis la France, valorisant les données et les services du continent. Collectivités, institutions et investisseurs intéressés par ce projet peuvent nous contacter.
06Exclure votre site
Pour empêcher PremgoBot de parcourir tout ou partie de votre site, ajoutez ces lignes à votre fichier robots.txt :
User-agent: PremgoBot Disallow: /
Pour n'exclure qu'une partie du site, remplacez / par le chemin concerné (par exemple Disallow: /prive/). Les modifications sont prises en compte au passage suivant du robot.
Pour toute demande de retrait immédiat ou tout signalement, écrivez-nous : chaque message est traité rapidement.
Une question sur PremgoBot, un projet de déploiement, ou un comportement à signaler ?
Écrivez à contact@premsgo.fr
Annuaire Français, présent sur le Web depuis 1996, accompagne depuis plus de 30 ans la visibilité des entreprises françaises.