X-Robots-Tag permissivo
Per i bot abilitati vengono inviati header compatibili con l'indicizzazione: nessun noindex, snippet esteso e anteprima immagine ampia. I bot bloccati ricevono la direttiva opposta.
Discovery & crawler control
Apri il sito ai crawler AI. Con regole che decidi tu.
llms.txt e llms-full.txt sempre aggiornati, permessi granulari per ogni bot, verifica reale dell'accessibilità e diagnostica delle interferenze: la discovery non si improvvisa con un file caricato a mano.
2 endpoint
5 famiglie di bot
1 writer statico
2file discovery pronti
5+crawler AI gestiti
1verifica accessibilità simulata
0file da caricare a mano
llms.txt e llms-full.txt: l'indice e il contesto completo
Le AI non scorrono il sito come un utente. Chiedono un riassunto leggibile, stabile e gerarchico. GEO Optimizer Pro serve due endpoint complementari, generati dai contenuti reali del sito e aggiornati quando pubblichi o modifichi una pagina.
- /llms.txt: nome del sito, descrizione, sezioni principali e voci con titolo, URL e una riga di sintesi.
- /llms-full.txt: aggiunge i riassunti estesi dei contenuti, con un tetto totale di caratteri configurabile per rispettare la finestra di contesto del modello.
- Output ordinato per priorità: pagine istituzionali, servizi, articoli e contenuti commerciali.
- Risposta cacheabile e coerente, senza markup superfluo né script.
Il risultato è un indice che qualsiasi LLM può leggere in una sola richiesta, senza dover scoprire il sito pagina per pagina.
Scrittore statico, cache versionata e flush immediato
Su alcuni hosting i rewrite di WordPress sono lenti o vengono disattivati. Per questo il plugin scrive anche una copia statica sotto wp-content/uploads/geo-optimizer-pro/, servita direttamente dal web server come riserva.
- Scrittura atomica del file statico: nessun lettore vede un file a metà.
- Transient con chiave legata alla versione dei contenuti e alla versione del plugin: la cache non serve mai dati vecchi.
- Flush automatico al salvataggio di un contenuto, al cambio di impostazioni e all'attivazione del plugin.
- Flush delle rewrite rules per registrare gli endpoint virtuali, senza intervento manuale.
Nessun file da mantenere. Se il rewrite funziona, llms.txt è sempre dinamico. Se il rewrite non funziona, la copia statica copre comunque la discovery.
# llms.txt — estratto generato
# inCod, marchio di ideaGrafica
> Consulenza GEO e ottimizzazione WordPress per le AI.
## Servizi
- [Consulenza GEO](https://example.com/servizi/geo): audit e roadmap.
- [Formazione](https://example.com/formazione): team e redazioni.
## Articoli
- [Come funziona llms.txt](https://example.com/blog/llms-txt): guida pratica.
- [Crawler AI e robots.txt](https://example.com/blog/crawler): regole e test.
## Contatti
- [Parla con noi](https://example.com/contatti): risposta in 1 giorno.
Bot registry
Un permesso per ogni crawler, non un interruttore unico
Non tutti i bot AI hanno lo stesso ruolo. Alcuni indicizzano per la ricerca, altri leggono su richiesta dell'utente, altri addestrano modelli. Decidi tu chi può entrare e con quale scopo.
| Bot | Proprietario | Funzione tipica | Controllo in GEO Optimizer Pro |
|---|---|---|---|
| GPTBot | OpenAI | Crawl per modelli e indicizzazione | Consenti / blocca per endpoint |
| ClaudeBot | Anthropic | Acquisizione contenuti per Claude | Consenti / blocca per endpoint |
| PerplexityBot | Perplexity | Indicizzazione per risposte con citazioni | Consenti / blocca per endpoint |
| Google-Extended | Uso dei contenuti per funzioni AI generative | Consenti / blocca per endpoint | |
| ChatGPT-User | OpenAI | Lettura su richiesta esplicita dell'utente | Consenti / blocca per endpoint |
| Altri user agent | Registry personalizzato | Crawler emergenti e bot di nicchia | Pattern regex + regola dedicata |
Le regole viaggiano insieme. Un permesso impostato nel registry si riflette su llms.txt, robots.txt, header X-Robots-Tag e meta robots della pagina. Non devi ricordarti quattro configurazioni diverse.
Header e robots.txt
Direttive coerenti, senza conflitti nascosti
Molti siti bloccano i crawler AI senza saperlo: un header noindex ereditato, una regola robots.txt dimenticata, un plugin di sicurezza troppo aggressivo. GEO Optimizer Pro allinea tutti i livelli.
robots.txt con Allow mirato
Il plugin inietta gruppi User-agent e Allow per i crawler selezionati, senza sovrascrivere le regole personalizzate del sito. Le modifiche sono tracciabili e reversibili.
Rewrite flush automatico
Gli endpoint /llms.txt e /llms-full.txt vengono registrati con rewrite dedicati e le regole vengono rigenerate al momento giusto, evitando 404 intermittenti dopo un deploy.
# robots.txt — gruppi generati per i bot abilitati
User-agent: GPTBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
# i bot disabilitati ricevono Disallow: /
Accessibilità verificata
Una chiamata simulata vale più di un'ipotesi
La verifica di accessibilità non controlla solo che il file esista: si comporta come il bot selezionato e misura quello che il bot riceve davvero.
Scegli il crawler
Selezioni GPTBot, ClaudeBot, PerplexityBot, Google-Extended o un user agent personalizzato dal registry.
Simula la richiesta
Il plugin esegue una chiamata server-side con lo user agent del bot, segue i redirect e applica un timeout controllato.
Analizza la risposta
Verifica status HTTP, presenza del contenuto, assenza di pagine di challenge e corretta esposizione di llms.txt e llms-full.txt.
Segnala l'interferenza
Se trova un firewall, un WAF o una regola di hosting che blocca il bot, la diagnostica mostra l'avviso e suggerisce l'allowlist da applicare.
Firewall e CDN sotto esame. Cloudflare, Wordfence e i WAF degli hosting possono rispondere con challenge JavaScript o 403. Un bot AI non risolve la challenge: per lui il sito è semplicemente irraggiungibile.
- Avvisi nella diagnostica con data, bot e codice di risposta.
- Differenza evidente tra blocco applicativo e blocco infrastrutturale.
- Suggerimenti operativi per allowlist di IP e user agent.
- Storico delle verifiche per capire quando l'accesso è cambiato.
Oltre i due file
IndexNow, llms.txt Plus e siti multilingua
La discovery non finisce con llms.txt: le modifiche vanno notificate, i contenuti possono essere arricchiti e ogni lingua merita il proprio indice.
IndexNow job
Ogni pubblicazione, modifica o eliminazione accoda un job IndexNow con gli URL cambiati. Le richieste sono raggruppate, deduplicate e ritentate senza bloccare l'editor.
- Key file generato e verificato.
- Invio a api.indexnow.org e ai motori aderenti.
- Esito e retry visibili nei log dei job.
llms.txt Plus
La versione Pro arricchisce il file con contenuti curati: descrizioni per singolo contenuto, priorità, data di aggiornamento, sezioni per servizi e prodotti ed esclusioni puntuali.
- Descrizioni editoriali invece di semplici titoli.
- Priorità e lastmod per i contenuti strategici.
- Esclusione di pagine tecniche o duplicate.
WPML e language resolver
Ogni lingua ottiene il proprio llms.txt, ad esempio /en/llms.txt. Se una traduzione non esiste, il resolver usa la lingua predefinita come fallback, senza inventare URL.
- Scope linguistico corretto per ogni voce.
- Fallback esplicito, non silenzioso.
- Compatibilità con hreflang e URL localizzati.
Pubblica
Il contenuto entra in llms.txt e llms-full.txt, la cache viene invalidata e il file statico riscritto.
Notifica
Il job IndexNow segnala l'URL modificato ai motori aderenti, con deduplica e retry.
Verifica
La diagnostica controlla endpoint, accessibilità del bot e coerenza tra file virtuale e statico.
Misura
Il tracker registra le visite dei bot e collega la discovery ai referral e alle citazioni.
Domande frequenti
Discovery AI, senza zone d'ombra
Devo creare llms.txt a mano?
No. GEO Optimizer Pro espone /llms.txt e /llms-full.txt tramite rewrite di WordPress e, in parallelo, scrive una copia statica nella cartella uploads del plugin. Non devi creare file, impostare permessi FTP o ricordarti di aggiornarli.
Che differenza c'è tra llms.txt e llms-full.txt?
llms.txt è l'indice: titoli, URL e descrizioni brevi delle sezioni principali. llms-full.txt contiene anche i riassunti estesi dei contenuti, con un tetto totale di caratteri configurabile per non saturare la finestra di contesto del modello.
Posso consentire un bot AI e bloccarne un altro?
Sì. Il bot registry assegna permessi per singolo crawler: GPTBot, ClaudeBot, PerplexityBot, Google-Extended, ChatGPT-User e user agent personalizzati. Le regole si riflettono su llms.txt, robots.txt, X-Robots-Tag e meta robots.
Come verifico che il firewall non blocchi i crawler?
La verifica di accessibilità esegue una chiamata simulata con lo user agent del bot selezionato, segue i redirect e analizza la risposta. Se trova una pagina di challenge, un 403 o un timeout, la diagnostica segnala l'interferenza e indica le regole da verificare.
Che cosa aggiunge llms.txt Plus?
Aggiunge contenuti curati: descrizioni per singolo contenuto, priorità, data di aggiornamento, sezioni per servizi e prodotti, esclusioni puntuali. Il file resta leggibile dagli LLM ma diventa più ricco e più utile per la citazione.
Funziona con WPML e i siti multilingua?
Sì. Il language resolver serve llms.txt per ogni lingua, ad esempio /en/llms.txt, e usa la lingua predefinita come fallback quando una traduzione manca. Gli URL restano coerenti con hreflang e non vengono duplicati.
Inizia dalla discovery
Rendi il sito leggibile alle AI. Con regole che decidi tu.
30 giorni di prova gratuita, 14 giorni money back e tutte le funzioni Pro incluse: llms.txt, llms-full.txt, bot registry, verifica accessibilità, IndexNow e diagnostica.
Preferisci partire subito? Acquista la licenza per 1 sito oppure per 3 siti.