Modulo 3 · Lezione 3.2 · Bloccare l'addestramento senza sparire dalle risposte · 3 min

Bloccare GPTBot senza sparire da ChatGPT

Lezione 3.2 del corso di AEO e GEO: come bloccare i bot di addestramento (GPTBot, ClaudeBot, CCBot) senza sparire dalle risposte di ChatGPT, Perplexity e Claude. Le regole di robots.txt per nome, il caso Google-Extended, i blocchi di CDN e firewall e come verificare nei log chi passa davvero.

Trascrizione

Introduzione

Lezione 3.2: bloccare l'addestramento, senza sparire dalle risposte.

La scelta

La regola di fondo è semplice: chi cerca entra. Per chi addestra i modelli, decidi tu. I bot di ricerca e degli assistenti vanno consentiti sempre: sono quelli che portano le citazioni. Bloccare i bot di solo addestramento è una scelta legittima, e non ti toglie citazioni.

Le regole da scrivere

In pratica scrivi due gruppi, chiamando i bot per nome. Nel primo i bot di ricerca e degli assistenti, con allow. Nel secondo GPTBot, ClaudeBot e CCBot, con disallow. Perché per nome? Perché un bot segue il gruppo che porta il suo nome, e ignora quello generico con l'asterisco. Così il permesso resta valido anche se qualcuno aggiunge una regola generale. Per Google-Extended decidi tu, sapendo che riguarda anche le risposte di Gemini.

CDN e firewall

Ma robots.txt è solo una richiesta. Prima ancora, un CDN o un firewall possono bloccare i bot alla porta. Da luglio 2025, per esempio, Cloudflare blocca per impostazione predefinita i crawler AI noti sui domini nuovi, e chiede a chi si iscrive se farli passare. Se usi Cloudflare, controlla cosa è stato scelto. E controlla anche le protezioni anti bot dell'hosting, i firewall applicativi, e i plugin di sicurezza.

Verificare chi è passato

Per sapere chi passa davvero, guarda i log del server. Cerca i nomi dei bot nei log, o nelle statistiche del tuo hosting. Attenzione però: chiunque può fingersi un bot, perché il nome nella richiesta si può copiare. Per questo si verifica l'indirizzo IP. OpenAI pubblica gli indirizzi dei suoi bot, e i bot di Google si verificano con il DNS inverso.

Il compito di oggi

Il compito di oggi: sistema il tuo robots.txt con i due gruppi. Controlla le impostazioni del CDN e dell'hosting. E trova nei log almeno una visita di un bot di ricerca.

Prossima lezione

Nella prossima lezione: llms.txt, cos'è e chi lo legge davvero. Ci vediamo lì.

Il compito

Sistema il tuo robots.txt con i due gruppi. Controlla le impostazioni del CDN e dell'hosting. E trova nei log almeno una visita di un bot di ricerca.

Segna il lavoro nel foglio di lavoro del corso.

Fonti

Controllate il 18 ottobre 2026.

RFC 9309: un crawler segue il gruppo con il suo nome; il gruppo «*» vale solo se nessun gruppo lo nomina.
Documentazione dei crawler di OpenAI (anche gli indirizzi IP pubblicati), Anthropic, Perplexity e Google (verifica con DNS inverso); regole come in articolo in inglese.
MIT Technology Review, 1 luglio 2025: Cloudflare blocca per impostazione predefinita i crawler AI noti sui domini nuovi e chiede ai nuovi iscritti se farli passare.
Citami: impostazione «Consigliato: ricerca sì, addestramento no», visite verificate per IP (guida).