Обичам всякакви подобрения и оптимизации в моя WordPress блог. Проблем е само, че рядко намирам свободно време за блога си напоследък – и все пак има неща, които могат да отнемат по-малко от пет минути свободно време, и при това имат осезаем положителен ефект.
Пример за това е, как можем да предотвратим индексирането на RSS feed-овете* в WordPress от Google и други търсачки.
Следващите няколко реда и 5 минути време ще са посветени на този проблем (и неговото разрешаване). И така…
Откъде да започнем?
Спомням си, че веднъж проверявах в Google кои от страниците на optimiced.com са индексирани (беше някъде в началото, когато блогът ми беше още съвсем млад:-).
Учудих се на това, че освен отделните публикации в блога, открих и много RSS feed-ове (страници с RSS емисии), които също бяха индексирани.
Защо е необходимо Google да не индексира RSS?
Първо, индексираното съдържание се дублира – последните 10 публикации или коментарите към тях, достъпни през RSS, могат да бъдат прочетени и на самия блог. Второ, RSS е предназначен за RSS четци (RSS readers), не и за четене в браузър (към текста и картинките няма приложено форматиране). Последно, кой би искал след търсене в мрежата да попадне на неформатирана RSS страница с коментари, примерно, вместо на самия блог пост, за който се отнасят коментарите? А на мен това ми се е случвало…
(Пример: Този линк може да използвате, за да се абонирате за RSS емисията на моя блог, или просто да видите последните 10 блог поста от optimiced в RSS формат.)
Как можем да предотвратим това? Търсих в интернет доста време, докато накрая попаднах на форума на WordPress, където решението беше намерено, а и самият thread, озаглавен “Prevent indexing of feed pages” беше маркиран като ‘resolved’.
Ето го и начина – за да “забраним” на Google и другите търсачки да претърсват RSS feeds, най-лесният начин е, като използваме трика с robots.txt.
Какво е robots.txt?
Както подсказва името му, robots.txt** е файл в обикновен текстов формат (.TXT), предназначен за четене от роботи:-)
Но не всички роботи, естествено (например, Roomba’та не се брои), а само търсещите машини, като тези на Google, Live Search (доскоро MSN Search), Yahoo!, Alta Vista и всички останали search bots (съкратено от search robots).







