Welche KI-Crawler lesen meine Seiten, und sind sie echt?

Warum das Snippet nicht reicht

Viele Crawler holen HTML ohne Browser-Script. Ein Origin-Access-Log kann ihre Anfragen mit behauptetem User-Agent und Adresse enthalten, soweit diese Informationen vorliegen.

Schritt 1: das Log schicken

Lade in den Einstellungen einen nur angehängten Log-Snapshot hoch oder nutze den Collector mit stabiler Quelle, Generation und Datensatzposition. nginx- und Apache-Format combined werden roh oder gezippt unterstützt. Wiederholte Positionen werden übersprungen; rotierte oder umsortierte Logs brauchen Quellenmetadaten.

curl -sS -X POST https://agenttracking.co/api/logs/example.com \
  -H "Authorization: Bearer wmt_your_token" \
  -H "Content-Type: text/plain" --data-binary @/var/log/nginx/access.log

Schritt 2: Verifikation gegen veröffentlichte Bereiche

Bei unterstützten Betreibern und Crawler-Identitäten vergleicht der Importer Origin-Adressen mit aktuellen veröffentlichten Bereichen. Manche Identitäten lassen sich so nicht prüfen und bleiben unbekannt.

Unverifiziert heißt nicht zwingend bösartig. Prüfe Log-Herkunft, Aktualität der Liste und Anbieter-Dokumentation vor einer Schlussfolgerung.

Schritt 3: Bursts

Ein Burst umfasst mindestens drei verschiedene relevante Pfade mit kurzen Abständen innerhalb eines Import-Batches. Das ist ein Anfragemuster, kein Beleg für eine Nutzerfrage oder Assistentenabsicht.

Kurz gefragt