Почему никто не догадался это сделать до Google? Ведь почти гениально! Они начали расширять REP.

Первое, что ввёл Google, это новый META: <META NAME=”GOOGLEBOT” CONTENT=”unavailable_after: 25-Aug-2007 15:00:00 EST”> который позволяет указать, после какой даты страница будет неактуальна, убрана и или архивирована и не будет актуальна для посетителей. Теперь можно прекрасно управлять промо-страницами и всем, что имеет ограниченные временные рамки на актуальность.

Хочу заметить, что unavailable_after не убирает саму страницу из системы Google а удаляет её только из результатов поиска.

Позаботились и не о HTML документах. У нас появился новый HTTP заголовок: X-Robots-Tag:, который позволит задать параметры индексации для других документов.
Примеры:
X-Robots-Tag: noarchive, nosnippet – не архивировать и не не показывать ссылку кеш рядом с результатом.
X-Robots-Tag: noindex – не индексировать.
X-Robots-Tag: unavailable_after: 7 Jul 2007 16:30:00 GMT – время, после которой нужно убрать страницу из результатов поиска.

Для того, что-бы воспользоваться новыми HTTP заголовками на Apache, должен быть включен Apache Module mod_headers. Воспользовавшись директивой <FilesMatch> можно задать эти заголовки. К примеру, в каталоге с нужным файлом положить .htaccess с таким содержанием:

<FilesMatch "avatar.jpg$">
	 Header add X-Robots-Tag "noindex"
</FilesMatch>

Вот и всё.