Se un crawler AI non può leggere il sito, quell'AI non ti citerà. Ma non tutti i crawler servono a citarti: alcuni leggono solo per addestrare i modelli. La scheda Bot AI distingue i due casi e scrive il robots.txt per te.
Le tre politiche
- Consigliato: ricerca sì, addestramento no — lascia passare i bot di ricerca e gli assistenti, blocca quelli di solo addestramento.
- Consenti tutti — nessuna regola: robots.txt resta com'è.
- Blocca tutti — nessun crawler AI del catalogo può leggere.
La colonna a destra mostra esattamente cosa il plugin scrive in robots.txt; il link lo apre.
Bot per bot
La tabella elenca ogni crawler del catalogo (OpenAI, Perplexity, Anthropic, Google, Microsoft, Apple, Amazon, Meta, ByteDance, Common Crawl e altri) con lo scopo (Ricerca / risposte, Assistente per l'utente, Addestramento), le visite negli ultimi sette giorni e il segmento Consenti / Blocca per scavalcare la politica su un singolo bot. Una regola per bot vince sul preset.
Bloccare un bot di addestramento non ti costa citazioni. Bloccare un bot di ricerca o un assistente sì: il plugin lo dice nella riga.
Le visite e la verifica
Il plugin registra le visite dei crawler AI mentre WordPress serve le pagine e, per i bot che pubblicano i loro indirizzi (OpenAI, Perplexity, Google, Bing, Apple, Amazon), verifica l'IP: la colonna Verifica dice quante visite erano davvero del bot dichiarato. Chi si finge GPTBot per copiare contenuti resta fuori dai conteggi verificati.
Con una cache di pagina il PHP non vede tutte le richieste: in fondo alla scheda puoi indicare il log del server (Apache/Nginx) e il plugin lo legge, anche sui siti dietro cache.
Dove finiscono i dati
Le visite alimentano il grafico della Panoramica, il widget in bacheca, la scheda Attività Bot della dashboard e la prova mensile. Il registro locale tiene le ultime 300 visite.
Blocco GPTBot e perdo ChatGPT?
No. GPTBot è il crawler di addestramento di OpenAI. ChatGPT cita usando OAI-SearchBot e ChatGPT-User: lascia passare quei due e blocca GPTBot senza perdere citazioni.
I bot rispettano il robots.txt?
Quelli del catalogo dichiarano di sì, e per i grandi vendor le visite verificate lo confermano. Un bot che ignora il robots.txt va fermato a livello di server o CDN, non dal plugin.