Lezione 3.1 del corso gratuito di AEO e GEO: cos'è il file robots.txt e come leggerlo, le tre famiglie di bot delle AI (ricerca, assistenti, addestramento), i nomi da conoscere e gli errori che bloccano un sito senza che il titolare lo sappia.
Lezione 3.1: i bot delle AI e robots.txt.
Un motore che non può leggere una pagina non la può citare. E il primo posto dove si decide chi può leggere è un file: robots.txt. È un file di testo alla radice del sito. Contiene regole per ogni bot, chiamato per nome: questo può entrare, quest'altro no. E indica dove si trova la sitemap. È uno standard, la RFC 9309, e i bot dei grandi motori lo rispettano.
I bot delle AI non fanno tutti la stessa cosa. Ci sono tre famiglie. I bot di ricerca leggono le pagine per poterti citare nelle risposte: OAI-SearchBot, PerplexityBot, Claude-SearchBot, e quelli di Google e di Bing. I bot degli assistenti aprono una pagina perché un utente, in quel momento, lo ha chiesto: ChatGPT-User, Perplexity-User, Claude-User. Poi ci sono i bot di addestramento, che raccolgono testi per addestrare i modelli: GPTBot, ClaudeBot, CCBot. Questi non citano. Google-Extended è un caso a parte: come abbiamo visto, riguarda anche le risposte di Gemini.
Apri il tuo: scrivi il tuo dominio, barra, robots.txt, nel browser. Cerca prima una regola che blocchi tutti: user-agent asterisco, e disallow barra. Se c'è, nessun motore può leggerti. Poi cerca le regole per i bot AI, chiamati per nome. E controlla che ci sia la riga della sitemap.
Molti siti sono bloccati senza saperlo. Tre errori sono i più comuni. Il blocco del sito di prova, rimasto lì dopo la messa online. Un plugin, di sicurezza o di SEO, che aggiunge regole per i bot AI senza che tu lo sappia. E nomi scritti male: una regola per un bot che non esiste non serve a niente.
Il compito di oggi: apri il tuo robots.txt nel browser. Per ogni famiglia di bot annota se è consentita, bloccata, o senza regole. E segna gli errori: li correggiamo nella prossima lezione.
Nella prossima lezione scriviamo le regole: bloccare l'addestramento, senza sparire dalle risposte. Ci vediamo lì.
Apri il tuo robots.txt nel browser. Per ogni famiglia di bot annota se è consentita, bloccata, o senza regole. E segna gli errori: li correggiamo nella prossima lezione.
Segna il lavoro nel foglio di lavoro del corso.
Fonti (controllate il 18 ottobre 2026): RFC 9309 (Robots Exclusion Protocol); documentazione dei crawler di OpenAI, Anthropic, Google (in articolo in inglese); Google-Extended e Gemini come nella lezione 1.3. Citami: guida.