Wie erkenne ich, ob eine Anfrage, die sich als GPTBot ausgibt, echt ist?

Warum der String nicht reicht

Scraper kopieren den GPTBot-User-Agent, weil Sites ihn meist erlauben. Eine robots.txt-Regel oder eine Drosselung auf den String behandelt die Kopie also wie das Original. Das einzige verlässliche Signal ist die Netzwerkadresse, die die Anbieter genau deshalb veröffentlichen.

Woher die Bereiche kommen

OpenAI veröffentlicht getrennte JSON-Listen für GPTBot, ChatGPT-User und OAI-SearchBot. Perplexity, Microsoft, Google und Apple veröffentlichen ihre. Die Listen ändern sich; Agent Tracking aktualisiert sie nächtlich und prüft jede Log-Zeile gegen die Liste des Crawlers, den sie behauptet.

Von Hand

Nimm die Adresse aus der Log-Zeile, hol die Liste des Anbieters und prüf, ob die Adresse in einem der CIDR-Blöcke liegt. Für eine Zeile ist das eine Minute; für das Log einer Nacht ein Script. Der Log-Import macht es für jede Zeile und zeigt das Ergebnis je Agent als verifizierte und unverifizierte Zahlen.

curl -sS -X POST https://agenttracking.co/api/logs/example.com \
  -H "Authorization: Bearer wmt_your_token" \
  -H "Content-Type: text/plain" --data-binary @/var/log/nginx/access.log

Was du mit einem Nachahmer machst

Nichts Automatisches; das Tool blockiert nie. Aber ein Agent, dessen unverifizierter Anteil groß ist, ist eine Regel am Netzrand oder in der robots.txt wert, und der verifizierte Anteil sagt dir, wie viel echten Crawler-Traffic du behalten würdest.

Kurz gefragt