Un site doit être indexable par les crawlers des robots.

Une architecture bien conçue, un maillage pertinent des URL internes, des ancres de liens comportant des mots clés, des restrictions d’accès à certaines pages, des instructions aux robots pour ne pas indexer certaines rubriques produiront plus de poids aux pages qui comptent.

Ça vous paraît évident bien sûr car vous êtes un pro. J'en suis pas un. La preuve en est c'est que l'agence qui avait conçu le site pourri de mon prospect a récupéré son client. Pourri ? Oui : 32 pages pour promouvoir le projet d'un filiale d'une entreprise du CAC 40. Combien de liens internes ? 100 ? 200 ? 400 ? Cherchez pas : 27 492.

27 492 liens !? Oui parce qu'il y a 27 492 pages, chacune codée en partie en HTML4 ET en XHTML1.0 strict. Que le code HTML d'une page mélange les genres, bon... passons. Qu'il y ait un plan de site HTML c'est bien. Mais pas d'URL canonique. Pas de plan de site XML pour aider les robots à s'y retrouver.
Oui : s'y retrouver car un site de 32 pages avec plus de 25 000 pages toutes accessibles c'est fort.
Très fort : les URL des (je pose 27 492 et je retiens 32) 27 460 pages ont des longueurs de plusieurs milliers de caractères. Un vrai labyrinthe pour y perdre les bots.

Comment s'apercevoir que le site pose des problèmes d'accès ? Avec Xenu.

Xenu me permet de vérifier régulièrement mon débloque-notes tant pour mes liens internes que pour les liens externes. Le mien de rapport Xenu sur mon blog HTML5 m'indique qu'il n'y a pas de liens cassés. Il produit même un sitemap que je peux adresser aux moteurs de recherche.

Que de fois ai-je rencontré ces problèmes chez des clients qui se plaignaient du positionnement de leur site, du peu de pages indexées par les moteurs de recherche. Qu'un webmaster ne sache pas tout c'est tout à fait compréhensible. Qu'une grande agence Web dotée de nombreuses ressources compétentes ne prennent pas le soin de coder proprement c'est assez surprenant. Qu'elle soit restée dans la dénégation du problème de l'indexation c'est assez peu responsable et un tantinet malhonnête. Qu'il ait fallu mettre mon rapport sous son nez pour qu'elle admette ses erreurs c'est quand même fort de café.
Mais c'est la vie.