Wie erkenne ich, ob eine Anfrage, die sich als GPTBot ausgibt, echt ist?

Warum der String nicht reicht

Scraper kopieren den GPTBot-User-Agent, weil Sites ihn meist erlauben. Eine robots.txt-Regel oder eine Drosselung auf den String behandelt die Kopie also wie das Original. Das einzige verlässliche Signal ist die Netzwerkadresse, die die Anbieter genau deshalb veröffentlichen.

Woher die Bereiche kommen

Unterstützte Betreiber veröffentlichen Adressbereiche ihrer Crawler oder Fetcher. Der Importer verwendet aktualisierte Listen für unterstützte Identitäten und erhält den Status nicht verfügbar bei fehlender Prüfbasis. Prüfe je Identität die aktuelle Betreiber-Dokumentation.

Von Hand

Nimm die Adresse aus der Log-Zeile, hol die Liste des Anbieters und prüf, ob die Adresse in einem der CIDR-Blöcke liegt. Für eine Zeile ist das eine Minute; für das Log einer Nacht ein Script. Der Log-Import macht es für jede Zeile und zeigt das Ergebnis je Agent als verifizierte und unverifizierte Zahlen.

curl -sS -X POST https://agenttracking.co/api/logs/example.com \
  -H "Authorization: Bearer wmt_your_token" \
  -H "Content-Type: text/plain" --data-binary @/var/log/nginx/access.log

Was du mit einem unverifizierten Namen machst

Das Produkt blockiert keine Anfragen. Prüfe Log-Herkunft und aktuelle Anbieterbereiche vor einer Edge-Regel; robots.txt ist eine Anweisung an Crawler, kein Authentifizierungsmechanismus.

Kurz gefragt