Лека забележка: В случая ще бъдат забранени всички URL не замо звършващи, но и съдържащи /feed/. Ако трябва да се забранят само завършващите, трябва да се използва Disallow: */feed/$, само съдържащите: Disallow: */feed/*.

В Google webmaster tools може да се проверява кой израз какво ще забрани.

Use robots.txt to prevent crawling of search results pages or other auto-generated pages that don’t add much value for users coming from search engines.
http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=35769

Един вид гугъл официално подкрепя ръчното оплевяване на излишно съдържание, което спестява индексирането на бeзполезни страници.

Броени минути, след като публикувам тема, тя вече е не само сърчабъл, но и на първа позиция в търсенето ми

Всъщност няма никаква магия зад цялата работа :)
Google имат интерфейс, с който да ги уведомите ако има нещо ново.
WordPress при всяка публикация уведомява Ping-o-Matic.
Ping-o-Matic уведомява мноого други, включително и Google.

Така например публикациите се повявават почти вднага в големите feed агрегатори-и (Bloglines, Google Reader), което понякога е неприятно: ако промените нещо малко след публикуване читателите ще го видят много по-късно, защото при редактиране не се ping-ва.

Ама коментарите се индексират! :-) Всичко, което е в блог постовете, се индексира, открай докрай.

Въпросът е, че съдържанието на: тази страница, и нейния RSS еквивалент (за коментарите) се припокрива частично, а това просто не е необходимо.

Просто трикът с robots.txt не допуска едно и също нещо да се индексира два пъти на две места, като едно от местата са неформатираните RSS feed-ове, това е:)

За мен това си е хитър и полезен трик:)

Ами, не,

Disallow: */rss/

…не е необходимо, защото тази тема показва само линкове към */feed/ :-)

Иначе всичко, което се съдържа във RSS feeds, го има и в самия блог, като блог постове, в стандартен HTML/CSS формат. Не е необходимо да се дублира това съдържание. Човек може да се абонира за RSS-ите на даден блог, но надали ще иска да ги чете в браузъра, намерени през Google:)

Поне така мисля… :)

Disallow: */rss/

защото във wp освен във феед потока го има и като
http://www.optimiced.com/bg/rss и
http://www.optimiced.com/bg/rdf

Друг е въпросът дали си заслужава да се прави всичко това. Аз дори напротив - бих заложил на feed-a, но разни хора … разни идеали

Преди няколко месеца бях удивен, че освен самите блог-постове, намерих в Google цял куп RSS емисии, за коментарите на всеки един пост поотделно, за категориите в блога и т.н.

Добавянето на правилото:

User-Agent: *
Disallow: */feed/

…в моя случай, премахва точно тези ненужни записи от базата данни на Google:)

На търсачките име е все едно, какво индексират - TXT, HTML, RSS… и точно тук на помощ се притичва robots.txt:)))

Иначе, на самото претърсване на сайта добавянето на правилото да не се претърсват feed-овете няма да даде отражение — да речем, че това е просто minor tweak, за да бъде още по-оптимизиран един блог:)