Le rôle du fichier robots.txt pour améliorer le classement du site!

Pas beaucoup de web master de prendre le temps d'utiliser un fichier robots.txt pour leur site Web. Pour les moteurs de recherche qui utilisent le fichier robots.txt pour voir ce que les répertoires à la recherche par le biais, le fichier robots.txt peut être très utile dans le maintien de l'indexation de vos pages araignées réelle et non pas d'autres informations, telles que la recherche par vos statistiques!

Le fichier robots.txt est utile pour garder votre araignées de l'accès aux dossiers des pièces et des fichiers dans votre répertoire d'hébergement qui sont totalement étrangers au contenu de votre site web actuel. Vous pouvez choisir d'avoir les araignées tenus à l'écart des zones qui contiennent de programmation que les moteurs de recherche ne peut pas analyser correctement, et à les garder hors de la partie web stats de votre site.

Plusieurs moteurs de recherche ne peut pas afficher correctement le contenu généré dynamiquement, principalement créées par des langages de programmation tels que PHP ou ASP. Si vous avez une boutique en ligne programmé dans votre compte d'hébergement, et il est dans un répertoire distinct, il serait sage de bloquer les araignées de ce répertoire si il ne trouve que des informations pertinentes.

Le fichier robots.txt doit être placé dans le répertoire où vos fichiers principaux de votre hébergement sont situés. Vous seriez donc conseillé de créer un fichier texte vide, et l'enregistrer comme fichier robots.txt, et puis le télécharger sur votre hébergement dans le même répertoire votre fichier index.htm est situé.

Voici des exemples de l'utilisation du fichier robots.txt:

Pour bloquer un répertoire dans un fichier robots.txt, comme un sous-répertoire de votre magasin en ligne appelé / store / vous effectuez les opérations suivantes:
Disallow: / store /

Un autre exemple de bloquer votre répertoire stats:
Disallow: / stats /

Vous pouvez également interdire des fichiers individuels que vous ne voulez pas recherché par les moteurs de recherche. Par exemple vous ne voulez pas search.php à être analysé par les moteurs de recherche. Pour ce faire, vous tapez le texte suivant sur sa propre ligne:

Disallow: / search.php

Conformément aux règles énoncées et la création du fichier robots.txt, vous garderez les moteurs de recherche de fichiers indésirables et de répertoires, et de les laisser passer par les fichiers importants de voir ce que votre site web est tout!