L’indicizzazione è una fase messa in atto dal motore di ricerca ed è fondamentale per far si che un sito venga raggiunto dagli utenti. Ci sono alcuni casi in cui un sito o alcune sue pagine potrebbero non venire indicizzate. Le ragioni di questa mancanza potrebbero essere varie tra cui quattro principali motivi che verranno qui analizzati. Questi casi riguardano una pagina di nuova creazione, la gestione del file robot.txt, alcune modifiche del sito e il meta tag “noindex”.
Perché è importante che una pagina web venga indicizzata correttamente
Un sito web, per poter essere raggiunto dagli utenti, deve essere indicizzato dal motore di ricerca. Ciò significa che questo crea un elenco di siti da lui raggiungibili che può inserire all’interno della serp (Search Engine Results Page) a fronte delle richieste fatta degli utenti. Al fine di indicizzare quanti più siti possibile, il motore di ricerca utilizza il crawler, uno specifico tool in grado di esplorare il web alla ricerca di nuove pagine da indicizzare.
Caratteristica essenziale di un sito web – che vuole essere indicizzato – è la chiarezza dei propri componenti in quanto il crawler deve poter comprendere correttamente la struttura di questo. Un’alternativa a tal strumento consiste proprio nella possibilità, per il creatore di una determinata pagina, di comunicare direttamente al motore di ricerca l’esistenza della suddetta.
La fase di indicizzazione è essenziale per il posizionamento della pagina web in quanto decide la posizione all’interno della serp. Il motore di ricerca, così, giudica il valore delle pagine in base alla qualità dei loro link esterni motivo per il quale, per avere un buon posizionamento, è necessario essere interconnessi con pagine autorevoli.
Migliorando i criteri qualitativi aumentano le possibilità per cui un utente trova il link di una determinata pagina e decide di visitarla. Infatti, l’analisi del comportamento di questi dimostra che sono più inclini a visitare le prime pagine apparse nella schermata piuttosto che scorrere verso il basso ed esplorare la serp. Dunque, più una pagina riesce a posizionarsi in alto nella serp, più aumentano le possibilità che venga visitata da un maggior numero di utenti.
Risulta, quindi, evidente quanto sia importante far sì che la pagina web di nostro interesse venga indicizzata correttamente dal motore di ricerca. È fondamentale, prima di ogni altra considerazione, consentire che il proprio sito sia visibile autorizzando la Search Engine Visibility nelle impostazioni generali.
Se non viene indicata questa preferenza, il sito e le sue pagine saranno automaticamente invisibili al crawler e quindi al motore di ricerca. Tuttavia, esistono alcuni fattori che impediscono ad una pagina di rientrare in quell’elenco dal quale il motore seleziona le pagine da fornire agli utenti.
Page non indicizzata: quattro casi
Una prima ragione per la quale una pagina web non viene indicizzata è da ricercare nella sua recente creazione. Infatti, il crawler, sul quale si appoggia il motore di ricerca, raggiunge nuove pagine da indicizzare tramite i link esterni che connettono le pagine stesse. Solo nel momento in cui una page già conosciuta e ben indicizzata inserisce un link alla nuova pagina potrà essere raggiunta dal crawler, rientrare nell’indice del motore di ricerca ed essere visitata dagli utenti.
Un secondo caso per cui una pagina non viene indicizzata potrebbe essere quello in cui il filerobot.txt – il file che guida l’esplorazione del sito da parte del crawler – contiene degli errori per cui tale tool non riesce a raggiungere e visitare tutte le pagine di un sito. Quindi è fondamentale compilare questo file correttamente e controllarne la funzionalità.
Similmente se la mappa del sito che definisce la sua architettura contiene degli errori, porzioni di sito potrebbero risultare difficili o impossibili da raggiungere. Inoltre, la mappa del sito consente al crawler di navigare tutte le pagine che lo compongono secondo quanto indicato dal creatore della pagina di modo che ognuna venga indicizzata correttamente.
È bene ricordare che, nel caso in cui un sito subisca modifiche, queste potrebbero influire sulla sua indicizzazione. Ad esempio, una pagina che precedentemente otteneva un buon posizionamento potrebbe scendere di posizione. Le modifiche in questione potrebbero riguardare l’URL, i percorsi dell’URL e il dominio. Il motore di ricerca potrebbe impiegare diverso tempo per riconoscere la modifica oppure, se fossero stati inseriti degli errori, potrebbe non indicizzare più la pagina.
Tuttavia, rimane importante tener conto del fatto che una page potrebbe non venir indicizzata poiché il creatore della stessa non vuole che lo sia. Con l’utilizzo del meta tag “noindex” nel codice HTML l’attività di esplorazione del crawler viene bloccata appena questi accede al sito e non procede all’indicizzazione. L’utilizzo di questo strumento potrebbe essere giustificato da una precisa scelta strategica, tuttavia, nel momento in cui si vuole che il sito diventi nuovamente visibile, bisogna eliminare questo meta tag.
Per far sì che il proprio sito venga raggiunto dagli utenti è, quindi, consigliabile controllare se questo è stato correttamente indicizzato dal motore di ricerca. Per fare ciò è necessario cercare nella barra di ricerca l’url e se non è possibile raggiungerlo, vorrà dire che non è stato indicizzato correttamente. Quindi, l’indicizzazione e il posizionamento nella serp sono essenziali al fine di raggiungere il maggior numero di utenti.