Category Archives: Sitemaps

Live Search Webmaster Center

Ага! Наконец, у них оно тоже есть. И даже публично доступно. Live Search Webmaster Center. Согласно Live Search Webmaster Center Blog оно доступно с 15 ноября 2007 года. Но, его запуск прошёл уж как-то очень тихо.

Нашёл я его ещё вчера, и совсем почти нечаянно. В очередной раз пересматривал помощь на live.com и решил переключиться с литовского на американский английский – и опа, сслылочка на Live Search Webmaster Center появилась вместо помощи. Я тут-же побежал регистрироваться.

По сравнению с Google Webmaster Tools и даже с Yahoo! Site Explorer выглядит убого.

Continue reading

О жизни с Google Webmaster Tools

Казалось бы Google должен делать самые удобные интерфейсы на планете – он за счёт них зарабатывает свои миллионы, а критиковать чужое – это самое просто занятие что есть на планете.

Лично мне, как частому пользователю Google Webmaster Tools в списке моих сайтов немножко не хватает информации о их статусе. В системе у меня зарегистрировано порядка 17 проектов и раз в неделю (а то и чаще), обходить каждый и проверять, не появились ли новые сообщения об ошибках или проблемах, с момента моего последнего посещения – не самое быстрое занятие. Самое главное ведь – есть ли страницы, которые Googlebot не достиг по каким-то причинам (всего флажок), всё ли в порядке с sitemaps, нет ли сообщений от анти-спам систем или сообщений о вредоносном коде/компонентах на сайте (ведь Google, как сказал Matt Cuttsединственная поисковая система, которая предупреждает о том, что у вас проблемы с сайтом).

Вот так ходишь и раз в неделю проверяешь, всё ли там хорошо. И на этом спасибо, Yahoo! Site Explorer нам пока вообще для аналитике ничего не даёт, а о live.com от Microsoft мы вообще помолчим.

Yahoo! Site Explorer – что я увидел утром

Yahoo! Site Explorer – уже проверил два мною подключенных сайтов к системе. Один он подтвердил, а второй нет. Причины пока никто не написал (можно было бы), я не обиделся, я знаю, что вчера по какой-то причине лежал тот сервер (к сожелению) и это наверняка была причина.

На сайте, что они подтвердили, XML Sitemap (скормленный в окошко для RSS/ATOM фидов) был удачно скачен и сменён статус на processed. Это радует. Из дополнительной информации о сайте (которую они прятали вчера), я вижу только Language: Unknown, больше ничего. Совсем не радует… Местами показываются даты, когда паук последний раз был на странице. Возможно в этом виноват один из моих самописанных плугинов для WordPress. Местами есть язык сайта: Language: Russian (я копнул глубже, примерно к середине 3 страницы из списка).  Ссылок и информации о том, кэшированы ли страницы роботом нет, а знать тоже хотелось бы. Вобщем, хочу больше информации о сайте, то что о нём думает робот. Хочется возможности сортировать по разным критериям этот список: по популярности страницы, время последнего посещения роботом, по алфавту, а ещё хочу пофильтровать.

Кстати, сегодня уже вижу новый раздел Subdomains. В этом разделе у меня только один субдомен, причём, показывают время последнего посещения и язык. Время последнего посещения я не проверю, а вот язык указывает правильно.

В разделе входящих ссылок очень радует фильтрация: какие ссылки показывать (все или только входящие) и на какой адрес (на весь сайт или только на адрес, указанный в строке Explore URL). Вот чего мне не хватает, так возможности сортировать по домену, можно ещё по тайтлу/названию страницы. Но вот в таком интерфейсе, отслеживать входящие ссылки мне куда приятней, чем в стандартном интерфейсе Google (ссылки на kurakin.info).

Вобщем – ещё один инструмент для работы с протоколом Sitemaps не может не радовать, тем более он такой красивый.

Yahoo! Site Explorer – первые шаги внутрь

Сегодня наконец я добрался до Yahoo! Site Explorer – альтернатива Google Webmaster Tools. Что-же, отметим красивый интерфейс – мне понравилось. Само собой (а кто бы сомневался) – интеграция с Yahoo! профайлом. Как для меня – никакой долгой регистрации, а сразу возможность добавить сайт. Валидация, как и в первой версии Google Webmaster Tools – загрузить файл с определённым названием на сервер, вот только содержание файла тоже должно быть строго таким, как сказал Yahoo! Site Explorer. Если в Google Webmaster Tools валидация, что вы хозяин сайта, проходит сразу в 1 клик (ну и загрузку файла), то в Yahoo! Site Explorer – проверка на то что сайт ваш (наверно всего лишь наличие файла) по клику на кнопку меняет статус только на Pending. За последние 3 часа он не сменился, обещают это сделать через/в течении 24 часа, после регистрации. Чтож, подождём…

Куда именно совать файл в протоколе Sitemaps, я пока не нашёл (может не успели поменять, или пока не отвалидировали). Согласно документации, система пока поддерживает RSS 0.9, RSS 1.0 or RSS 2.0, а также Atom 0.3 и простые текстовые файлы (Google Webmaster Tools тоже поддерживает текстовые файлы, может ну их весь этот XML?). Я свои Sitemaps пока скормил в теже интерфейсы, куда надо скармливать фиды – посмотрим, что получиться.

После начальной валидации, в режиме Pending, через Explore можно уже увидеть список проиндексированных страниц (никакой дополнительной информации пока не выдают). Интересно, по какой причине или в по какому параметру их сортируют здесь? Ещё доступен список входящих линков на ваш сайт – что тоже не плохо (Google Webmaster Tools это выдаёт ввиде ссылки на поиск, и там надо ещё с параметрами поиграть, что бы всю картину получить).

Чего мне уже не хватает? Того, как часто робот Yahoo! ходит ко мне на сайт, что он там видит, какие ошибки получает, как и на что влияет мой robots.txt. Хотя, может я этого не вижу, пока они не подтвердили что сайт мой? Я знаю, это может дать мне Google Webmaster Tools, но можно вот имено всё что есть в нём и в Yahoo! Site Explorer вместе и в одном флаконе, с кучей красивого интерфейса?

Теперь о третьем партнёре проекта Sitemaps, Microsoft. Он последний, кто ничего не представил по этой теме, и согласно зарубежным блогам: Confusion with Microsoft as Search Engines Unite with Sitemaps Protocol – пока не сильно чешется в этом направлении. Хотя куда и зачем ему/им спешить? У него и так дел по горло: Office 2007, Windows Vista, Internet Explorer 7.0, надо ещё Live от спама научить защищаться… Не до Sitemaps им.

Хорошие (и не очень) новости от Google.

Google Analytics произвёл обновления и удовлетворил наверняка потребности многих: дал возможность узнать с какого именно адреса пришёл посетитель. Раньше был виден только домен. Теперь есть возможность посмотреть и конкретную страницу, правда есть маленькое но – адреса пока воспринимаются – только ЧПУ, ничего вида “?a=63&m=3” не показывается. Ребята, это маленький намёк, что ЧПУ всё равно лучше, чем все стандартные запросы, ну и что, что большая часть поисковых систем и запросы понимает. Подробная инструкция на Английском по тому, как узнать точно страницу с ссылкой на вас при помощи Google Analytics. Жизнь стала немного слаще.

Google Webmaster Tools провёл 2 прекрасных обнавления и команда Google провела не слабую работу относительно идеи универсального формата, но обо всём по порядку.

Сделали вывод статистики о том, как паук себя ведёт на вашем сайте. Количество страниц, которые за день прошёл паук; количество информации в килобайтах, которые скачал каук; время генерации страницы + время не передачу содержания. Очень даже красивые и много говорящие репорты, главное выводы правильно сделать.

Ввели новый (снова) интерфейс дле работы с ошибками, которые паук получил при очередном обходе сайта. Немного дизайна, немного юзабилити и мы получили очень удобный интерфейс. Информативно и вкусно. Плюс, проверка и сообщения о том, что вас сайт распространяет что-то плохо, ака вирусы или скрипты, способные нанести вред пользователям интернета. В планах у народа ещё больше.

Самая большая новость: объединение Google, Microsoft и Yahoo! в плане развития и улучшения индексации сайта (к чему издавна стремиться Google) создали общий стандарт протокола: sitemaps.org. Он от нам известных Google Sitemaps отличается только числом в версии и новым расположением схемы – http://www.sitemaps.org/schemas/sitemap/0.9. Пока новый сайт не содержит никакой иной информации, как краткое описание стандарта и немножко часто задаваемых вопросов. Конкретно адресаов, куда засылать такой Sitemap у Microsoft или Yahoо! я ещё там не видел. А ведь уже могли бы и разместить такую информацию, чтоб не ходить и не искать её.

Теперь о плохом. Нигде и никак не нахожу информации о причине отключения Google API. Куда всё это делось? Есть ли у кого какие предположения по этому поводу? Мне очень кажется, что они съехали на Google SOAP Search API, что нанесло немалый удар по программному обеспечению определённого круга людей. Ссылки там местами по прежнему ведут на Google API сайт, примерах пропали исходники на PHP, а в том, что осталось ссылки остались прежними: http://api.google.com/search/beta2. Будем надеяться, что всё вернётся на круги своя.

Google Sitemaps превратился в Google Webmaster Tools

Google Sitemaps вновь обнавлён. Ещё более застилизирован и преукрашен и у него новое имя: Google Webmaster Tools.

Самая полезная функция: «Preferred domain», где можно настроить какой домен (с www или без www) вы хотите увидеть в индексе и результатах поиска Google. Естественно, перемены не наступают сразу, а только через какой-то промежуток времени (об этом вежливо предупреждают).

В разделе «Manage site verification» можно посмотреть, кто ещё без вас подключил к себе данный сайт в Google Sitemaps и за ним наблюдает (вот только кажется оно ещё не работает, либо кто-то не до конца что-то сделал из «моих»). Да, при процессе verification для сайта, они проверяют, правильно ли отдаёт «статус загаловки» сайт, что бы не пропихнули 404 со статусом 200.

В разделе «Web crawl», теперь можно фильтровать ошибки по датам – когда именно они были замечены роботом. Появились фильтрации в статистике запросов не только по типу поиска, но и по серверу поиска (по странам/регионам).

Ко всему прочему, появился новый блог проекта: googlewebmastercentral.blogspot.com, новый Google Group: Google Webmaster Help и Webmaster Help Center.

Вновь обнавлён Google Sitemaps

Сегодня зашёл в Google Sitemaps что-бы сделать плановый осмотр зарегистрированных проектов. Опаньки, а интерфейсик сменился. Оказывается, 21 мая был сменён интерфейс. Немного расширены возможности: все адреса, по которым возникли HTTP ошибки, отдельный отдел для 404 ошибок, фильтр поисковых запросов, по которым были переходы и по которым его выводит, расширили кол-во выводимых слов с сайта, разделили на мобильный и стандартный контент, а так-же система голосований за понравившейся вам раздел/инструмент (создатели Google Sitemaps просят им помочь с определением, какие разделы нужно развивать). Не знаю, на каких языках эта система работает, я пока использую только английский и русский. Сказывается на работе и хорошая система помощи – всегда можно почитать и сделать какие-то выводы для себа, почерпнуть полезной информации.

Молодцы они, что развивают Google Sitemaps – автоматизированная информация о состоянии сайта, из первых рук, без всяких особых затрат. Вот только бы они могли давать больше информации о таких ошибках как: “Some of these pages are indexed without a title or description.” – мне то интересно, какие страницы они так проиндексировали, я бы их поправил, если такие страницы есть.

Google Sitemaps обновили – новый интерфейс и подсказки

Google Sitemaps сменил свой интерфейс. Теперь можно быстрее добавить сайтмап, навигация стала прозрачней: есть бредкумбс (хлебные крошки навигации), навигацию разбили на 3 части: диагностика, статистика и сайтмапы (раньше была 4 часть: robots.txt). Приятный, нежный светло-зелёный цвет. Появилась обобщающая часть, где сообщают о том когда GoogleBot был на вашем сайте, потенциальные проблемы. Почти везде есть подсказки и помощь.

Чем дальше, тем больше Google Sitemaps становиться оружием для борьбы с SEO оптимизаторами. По идее каждый может (если позволяют ресурсы) сделать сайтмап своего сайта, подключиться к Google Sitemaps и узнать нужную и полезную информацию о своём сайте. Причём, похоже, без особых проблем, узнать о HTTP ошибках, с которыми столкнулся GoogleBot на сайте, у какой страницы самый высоки PageRank, основные ключевые слова сайта (как его видит Google).