Spip et le fichier robots.txt

Accueil > Articles > Spip et le fichier robots.txt

Tout commence par une recherche sur Google, « Un Iphone sous linux », qui fait apparaître un de mes articles dans les résultats de recherche. Quelle n’est pas ma surprise de constater que Google m’informe que « Ma page n’est pas adaptée aux appareils mobiles ». Ce qui me surprend un peu. J’ai pu faire une erreur, mais j’avais tout de même fait très attention à ce que mon site soit bien adapté aux petits écrans. Tout avait été testé, et j’avais eu de bons résultats aux tests, que ce soit :

– le test d’optimisation mobile
– Le test de la vitesse d’affichage du site
– Ou encore le test Think with Google

Je regarde donc un peu plus en avant les résultats de ces tests, et je constate que plusieurs ressources sont bloquées par le fichier robots.txt En particulier les feuilles de styles pour l’affichage sur petits écrans. Pas étonnant que ma page ne soit pas adaptée aux mobiles selon Google : j’interdis aux robots de Google de voir comment mon site se comporte sur petit écrans.

Le fait est que le résultat du test … est sans appel. Ce qui me surprend, car j’avais fait ce test en son temps, et les résultats avec été bons.

Alors je regarde le fichier robots.txt de Spip, et voici ce qu’il contient :

#HTTP_HEADER{Content-Type: text/plain; charset=#CHARSET}

# robots.txt
# @url: #URL_SITE_SPIP
# @generator: SPIP #SPIP_VERSION
# @template: #SQUELETTE

User-agent: *
Allow:    /local/cache-css/
Allow:    /local/cache-js/
Disallow: /local/
Disallow: /ecrire/
Disallow: /plugins-dist/
Disallow: /lib/
Disallow: /plugins/
Disallow: /prive/
Disallow: /squelettes-dist/
Disallow: /squelettes/
Crawl-delay: 1

Sitemap: #URL_SITE_SPIP/sitemap.xml

J’interdis aux robots de crawler mon dossier « squelettes », dans lequel se trouve les feuille de style pour l’affichage sur petits écrans.

J’ai donc supprimé cette dernière ligne (Disallow : /squelettes/) et j’ai placé le fichier robots.txt.html dans mon dossier « squelettes »

Je relance le test sur la même page, et voici le résultat :