PDA

Voir la version complète : robots.txt url rewriting


matthieudeparis
15/12/2008, 16h03
bonjour,

sur le site dont je m'occupe, les url sont fabriquées ainsi : http://www.ledomaine.com/w4c/refprod=XXXXXX.php

De nombreux paramètres peuvent être passés à la suite (tracking, etc.) et créent des url de type : http://www.ledomaine.com/w4c/refprod=XXXXXX.php?track=zzzz&parametre2=yyyy

au contenu strictement égal à l'url : http://www.ledomaine.com/w4c/refprod=XXXXXX.php

Dans l'outil pour webmasters de Google, toutes les url et toutes les variantes étaient listées, pour résoudre ce problème, j'ai eu recours à l'url rewriting :

pour toutes les url de type http://www.ledomaine.com/w4c/refprod=XXXXXX.php
et quelques soient les paramètres je renvoie (301)
vers http://www.ledomaine.com/w4c/nomdelareferenceproduit.htm.

cela a très bien fonctionné : google et Yahoo se sont allégés de toutes les variantes de la même url. Mais, il y a un mais, ces deux moteurs m'on listé 2 versions pour chacune de url de type :

La première : http://www.ledomaine.com/w4c/nomdelareferenceproduit.htm
La deuxième : http://www.ledomaine.com/W4C/nomdelareferenceproduit.htm,

Aïe, effectivement ces deux url fonctionnent parfaitement et sont strictement identiques.
Que me conseillez-vous de faire ?

j'ai pensé à cette solution et je voudrais votre avis : je ne sais pas si le fichier robots.txt est sensible à la casse, mais si il l'est pensez-vous que ce serait une bonne solution de le spécifier ainsi :

User-Agent: *
Allow: /
Disallow: /W4C/


Merci de votre aide.

thalasso
21/12/2009, 00h15
Réécris les URL en majuscules en minuscules pour éviter des différences de casse ?