llms.txt, GPTBot, ClaudeBot: la guida all'igiene dei crawler IA per i piccoli siti

Se gestisci un piccolo sito, ci sono buone probabilità che il tuo robots.txt non sia stato toccato da quando hai aggiunto una singola regola per GPTBot nel 2023 — o che non l'abbia mai toccato. Questa lacuna conta più di prima. A metà 2025, i dati di rete di Cloudflare hanno mostrato che il crawling legato all'addestramento era cresciuto fino a circa l'80% di tutta l'attività dei bot IA, dal 72% dell'anno precedente.^[3] I crawler IA sono ormai una fetta significativa di chi bussa alla porta del tuo server ogni giorno, e le regole che dai loro decidono due cose molto diverse: se i tuoi contenuti addestrano gratis il modello di qualcun altro, e se compari quando un acquirente fa una domanda a ChatGPT o Perplexity.

Ciò che rende il 2026 davvero diverso è che i grandi fornitori di IA hanno diviso il loro singolo crawler in diversi. OpenAI non gestisce più un solo bot — gestisce GPTBot per l'addestramento, OAI-SearchBot per ChatGPT Search e ChatGPT-User per i recuperi su richiesta. Anthropic ne gestisce tre. La conseguenza pratica: la mossa istintiva di Disallow: / per ogni user-agent IA ora fa due lavori contemporaneamente. Ti esclude dai corpus di addestramento (spesso quello che volevi) e ti cancella dalle risposte di ricerca IA (quasi mai quello che volevi). L'analisi di Digital Applied del quadro di Anthropic riporta che circa il 71% dei grandi editori di notizie blocca almeno un bot di recupero o ricerca, spesso con l'intenzione di bloccare solo l'addestramento.^[5] È esattamente l'errore costoso che questa guida è fatta per evitare.

llms.txt è un file Markdown proposto dalla community che collochi nella radice del tuo dominio (/llms.txt) e che elenca le tue pagine più importanti in forma pulita e analizzabile, perché un modello linguistico di grandi dimensioni trovi e comprenda i tuoi contenuti migliori senza attraversare navigazione, pubblicità e script. È stato proposto da Jeremy Howard di Answer.AI nel settembre 2024. L'analogia abituale è «una sitemap per gli LLM», e l'intento è davvero sensato: dare ai modelli una mappa curata e a basso rumore di ciò che conta sul tuo sito, facoltativamente con un /llms-full.txt più completo che incorpora il contenuto reale.

Il problema è il divario tra l'idea e le prove. Dopo diciotto mesi di discussione nel settore, i dati fanno riflettere:

• L'adozione è circa un sito su dieci. Lo studio di SE Ranking su 300.000 domini ha trovato un tasso di adozione del 10,13%, e, cosa cruciale, l'adozione era quasi identica nelle fasce di traffico basso, medio e alto (~9–10% ciascuna) — quindi non sono i siti sofisticati a correre avanti.^[1]
• Nessun aumento misurabile di citazioni. La stessa analisi di SE Ranking non ha trovato alcuna differenza statisticamente significativa nella frequenza delle citazioni IA tra siti con e senza llms.txt. Un modello addestrato su dati di citazioni IA è persino migliorato quando la variabile llms.txt è stata rimossa.^[1]
• Quasi nulla lo legge. Limy.AI ha monitorato oltre 500 milioni di eventi di bot IA in 90 giorni e ha trovato solo 408 richieste rivolte direttamente a llms.txt.^[14] Search Engine Land ha seguito 10 siti per 90 giorni prima e dopo l'aggiunta del file; solo due hanno visto aumenti di traffico IA, e non a causa del file.^[2]
• Nessun supporto ufficiale. A metà 2026, né OpenAI, né Anthropic, né Google, né Perplexity hanno ufficialmente confermato che i loro sistemi leggano o agiscano su llms.txt. Resta una specifica della community, non uno standard adottato.

La conclusione non è «llms.txt è inutile» — è che i due file non sono intercambiabili, e quello che cambia davvero i risultati oggi è il noioso file di decenni fa. Se nel 2026 hai tempo di sistemare bene un solo file, che sia robots.txt, con regole che riflettano il panorama attuale dei crawler IA e non la versione del 2023.

Prima di poter scrivere una regola sensata, devi sapere a cosa serve ogni bot. Ogni crawler IA svolge uno di tre lavori: raccoglie pagine per addestrare modelli, indicizza pagine per le risposte di ricerca IA, oppure recupera una pagina in tempo reale perché un utente ha chiesto all'assistente di essa proprio ora. Sono relazioni commerciali diverse, e nel 2026 i grandi fornitori le espongono finalmente come bot diversi che puoi controllare in modo indipendente.

Due righe meritano una seconda lettura. Google-Extended non è affatto un vero crawler — è un token di controllo che non compare mai nei log del tuo server come richiesta HTTP. Regola solo se Google può usare pagine che ha già scansionato (con il normale Googlebot) per addestrare Gemini e Vertex AI. E Bytespider (ByteDance) ha una storia documentata di ignorare robots.txt in modo incoerente, motivo per cui bloccarlo richiede una regola di firewall o a livello di IP anziché un cortese Disallow.

L'argomento commerciale per bloccare i crawler di addestramento si riduce a un singolo rapporto: quante delle tue pagine un bot scansiona per ogni visitatore che ti rimanda. Cloudflare pubblica questo rapporto crawl-to-referral sulla sua rete, e la differenza tra i fornitori è straordinaria. Il Googlebot tradizionale si attesta intorno a 5 pagine scansionate per referral. Il ClaudeBot di Anthropic, al suo picco di giugno 2025, scansionava circa 70.900 pagine per ogni visitatore che rimandava — un'asimmetria che ridefinisce l'accesso di addestramento come un'estrazione di valore unilaterale.^[5]

Ma c'è un'insidia che impedisce a «basta bloccare i bot di addestramento» di essere gratuito, ed è la sfumatura più importante di tutto questo articolo. Il blocco ha effetti collaterali sulle citazioni. L'analisi di AuthorityTech del 2026 ha rilevato che i siti che bloccano Google-Extended hanno molte meno probabilità di essere citati dai motori generativi — anche negli AI Overviews, dove Google mantiene tecnicamente l'accesso ai contenuti tramite l'indice normale.^[11] E i dati di ppc.land mostrano che il blocco è poroso anche nell'altra direzione: bloccare i crawler IA non ferma in modo affidabile le citazioni, perché i motori attingono da percorsi alternativi, citazioni di terzi e copie nella cache.^[10] Puoi perdere il vantaggio di visibilità senza ottenere del tutto la privacy per cui hai bloccato.

Sull'altro piatto della bilancia c'è il danno di traffico che spinge le persone a bloccare in primo luogo. Gli AI Overviews di Google hanno tagliato in modo misurabile il traffico di referral: Digital Content Next riporta cali di traffico dell'1–25% per i membri, con una media intorno al 25%, e i tassi di clic calano dal 34,5% al 79% quando appare un AI Overview, a seconda del tipo di query.^[8] Gli editori intervistati da ppc.land prevedono un ulteriore calo di traffico del 43% nei prossimi tre anni.^[10] Quando l'IA ti toglie il traffico e al contempo ti scansiona 70.000 a 1, la voglia di alzare il ponte levatoio è comprensibile.

Per due anni, la domanda più frequente sui crawler IA è stata una versione di: «Come compaio nella ricerca Google normale ma non negli AI Overviews?». Fino a giugno 2026, la risposta onesta era «non puoi». Google-Extended — il token a cui la maggior parte ricorreva — controlla solo se Google addestra Gemini e Vertex AI sulle tue pagine già scansionate. Non ha mai controllato gli AI Overviews né l'AI Mode, che attingono all'indice standard di Googlebot. Bloccare Google-Extended non faceva nulla per tenerti fuori dai riassunti IA che si mangiavano davvero i tuoi clic.^[8]

Le cose sono cambiate il 3 giugno 2026, quando Google ha rilasciato un report sulle prestazioni IA in Search Console insieme a un interruttore di opt-out che consente agli editori di rimuovere i contenuti dagli AI Overviews e dall'AI Mode senza perdere il ranking di ricerca standard.^[6] L'impostazione diventa efficace il 17 giugno 2026, quando Google inizia ad agire sul segnale, e attivarla non influisce sulla tua posizione nei risultati Google normali.^[7] Due avvertenze da leggere due volte: l'app Gemini è esclusa da questo opt-out (è un prodotto separato), e rinunciare significa accettare che sparisca anche la citazione/visibilità che ottenevi dagli AIO.

Non esiste un'unica configurazione corretta — esiste una configurazione corretta per il tuo obiettivo. Ecco i tre profili che coprono quasi ogni piccolo sito, da «voglio essere in ogni risposta» a «tienimi del tutto fuori dall'IA».

Per la maggior parte dei piccoli siti, la raccomandazione onesta è il Profilo 1 — consentire tutto. Il tuo obiettivo è la visibilità, il costo di banda del crawling IA è trascurabile su piccola scala, e bloccare i crawler di addestramento comporta effetti collaterali sulle citazioni che non puoi prevedere del tutto. Il profilo «bloccare l'addestramento, mantenere le citazioni» (Profilo 2) è l'impostazione predefinita giusta per le aziende di contenuti, gli editori e chiunque pubblichi ricerca originale e rifiuti davvero l'estrazione unilaterale. Il Profilo 3 è solo per contenuti a pagamento, in abbonamento o legalmente sensibili.

Le regole scritte al buio sono ipotesi. Dedica venti minuti a guardare chi ti scansiona davvero prima di cambiare una singola riga, perché il panorama dei bot varia enormemente per nicchia. Ecco lo stack di monitoraggio pratico, dal più economico in poi:

• Log di accesso del server / CDN. Filtra per user-agent per GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-SearchBot, PerplexityBot, CCBot e Bytespider. Questo ti dice la frequenza e quali pagine tocca ogni bot. Nota: Google-Extended non comparirà mai — è un token, non una richiesta.
• Cloudflare Radar AI Insights. Se sei dietro Cloudflare, la dashboard gratuita AI Insights mostra l'attività dei crawler IA e i dati crawl-to-referral citati in questo articolo.
• Google Search Console. Il nuovo report sulle prestazioni IA (giugno 2026) è dove vedrai le impression di AI Overviews / AI Mode — e dove si trova l'interruttore di opt-out.
• Verifica l'autenticità. Gli user-agent falsificati sono comuni. Confronta gli accessi sospetti con gli intervalli IP pubblicati — OpenAI li elenca su openai.com/gptbot.json, openai.com/searchbot.json e openai.com/chatgpt-user.json.

→ Fallo ora: Apri https://il-tuo-dominio.com/robots.txt in un browser. Se non menziona OAI-SearchBot né Claude-SearchBot, è obsoleto — e potresti essere invisibile agli stessi prodotti di ricerca IA che i tuoi clienti usano. Scegli un profilo dalla tabella sopra, incolla la configurazione corrispondente, e avrai fatto più igiene dei crawler della stragrande maggioranza dei piccoli siti nel 2026.