Welche KI-Crawler lesen meine Seiten, und sind sie echt?

Warum das Snippet nicht reicht

Crawler holen rohes HTML und führen nie ein Script aus, ein browserseitiger Tracker sieht sie gar nicht. Das Server-Log schon, eine Zeile je Anfrage, mit User-Agent und Adresse.

Schritt 1: das Log schicken

Auf der Einstellungsseite hochladen oder täglich mit dem API-Token posten. nginx- und Apache-Format combined, roh oder gezippt, ganze Dateien; Zeilen, die älter sind als die neueste bereits importierte, werden übersprungen.

curl -sS -X POST https://agenttracking.co/api/logs/example.com \
  -H "Authorization: Bearer wmt_your_token" \
  -H "Content-Type: text/plain" --data-binary @/var/log/nginx/access.log

Schritt 2: Verifikation gegen veröffentlichte Bereiche

OpenAI, Perplexity, Microsoft, Google und Apple veröffentlichen die Adressbereiche ihrer Crawler. Jede Zeile, die einen davon behauptet, wird geprüft; ein Treffer zählt, ein Fehltreffer landet als unverifiziert. Die Bereiche werden nächtlich aktualisiert.

Unverifiziert heißt nicht bösartig, aber es heißt, dass die Anfrage nicht von dort kam, wo der Anbieter es sagt, und das sollte man wissen, bevor man sich auf eine robots.txt-Regel verlässt.

Schritt 3: Bursts

Ein Agent, mehrere Seiten, wenige Sekunden: das ist ein Assistent, der eine Frage über dich beantwortet, kein Crawl. Die Agenten-Ansicht zählt Bursts je Agent und listet die jüngsten mit ihren Seiten, damit du siehst, welche deiner Seiten ein Assistent für eine Antwort zusammengezogen hat.

Kurz gefragt