crawl-engine — web crawler

This page identifies our web crawler and explains how to contact us or prevent it from crawling your site.

Project / Projet: crawl-engine — experimental crawl engine for a European search engine
User-Agent: crawl-engine/0.1 (+https://crawler.creasource.dev/abuse; [email protected])
Contact / opt-out: [email protected]
Origin (egress): Dedicated IP 167.233.208.8, PTR crawler.creasource.dev (FCrDNS)

Our commitments

We respect robots.txt (Robots Exclusion Protocol).
We honour Crawl-delay and space out our requests per host (polite crawling, one request at a time per domain).
Our robot always identifies itself through its User-Agent and this contact page.
We do not run attacks, do not bypass authentication, and do not collect private data.

Prevent crawling of your site

Add these lines to robots.txt at the root of your domain:

User-agent: crawl-engine
Disallow: /

To block only part of the site, replace / with the relevant path. Changes to robots.txt are picked up on our next visit (short cache).

Immediate removal

For immediate removal (before our next visit), email [email protected] stating the domain(s) concerned. We stop crawling the host shortly afterward (emergency switch reloaded continuously) and confirm by reply.

Français

Notre engagement

Nous respectons robots.txt (Robots Exclusion Protocol).
Nous honorons Crawl-delay et espaçons nos requêtes par hôte (crawl poli, une requête à la fois par domaine).
Notre robot s'identifie toujours par son User-Agent et cette page de contact.
Nous n'exécutons pas d'attaque, ne contournons pas d'authentification, ne collectons pas de données privées.

Empêcher l'exploration de votre site

Ajoutez ces lignes à robots.txt à la racine de votre domaine :

User-agent: crawl-engine
Disallow: /

Pour bloquer seulement une partie du site, remplacez / par le chemin concerné. Les modifications de robots.txt sont prises en compte au prochain passage (cache court).

Retrait immédiat

Pour un retrait immédiat (avant le prochain passage), écrivez à [email protected] en précisant le ou les domaines concernés. Nous coupons l'exploration de l'hôte sous peu (interrupteur d'urgence rechargé en continu) et confirmons par retour.