Ну, вот настал тот долгожданный момент, когда вы создали свой сайт. Но прежде чем он начнет отображаться в результатах поиска, нужно чтобы сайт должен был проиндексирован поисковыми системами. Что же такое индексация? Индексация это посещение поисковым роботом созданного сайта, его анализ и внесение информации в базу данных конкретной поисковой системы.
Если страница сайта отсутствует в индексе, то у поисковой системы нет никакой информации о ней, и, соответственно, эта информация не может быть использована поисковой системой.
Для того чтобы поисковая система узнала созданном сайте его нужно поставить на очередь к индексации. Сделать это можно одним из двух нижеприведенных способов:
- вручную добавить адрес сайта с помощью соответствующей формы поисковой системы. Таким способом вы самостоятельно сообщаете о новом сайте поисковой системе, и его адрес поступает на индексацию;
- предоставить возможность поисковому роботу самому отыскать ваш сайт. Для того чтобы сделать это, следует разместить хотя бы одну внешнюю ссылку на других ресурсах, которые уже проиндексированы поисковой системой. В этом случае поисковый робот в кротчайшие сроки самостоятельно посетит ваш сайт и проиндексирует его.
Второй вариант считается более приемлемым, поскольку при ручном способе добавления сайта время ожидания робота может быть увеличено. Обычно время, необходимое для того чтобы сайт был проиндексирован составляет от 2 дней до 2 недель и зависит от поисковой системы. К примеру, Google быстрее других индексирует сайты.
Для лучших результатов поиска необходимо чтобы сайт «дружил» с поисковыми роботами. Для этого следует учитывать следующие факторы:
- будет лучше, если любая страница сайта сможет быть доступной по ссылке с главной страницей не больше чем за три перехода;
- затрудняют индексацию идентификаторы сессий. Поэтому в случае если используется навигация через скрипты, то необходимо дублировать ссылки обычным способом, поскольку «поисковики» не читают скрипты;
- следует помнить, что «поисковики» индексируют только100 — 200 Кбайт текста на странице. Поэтому, если страница будет иметь объем больше этого показателя, то проиндексировано будет только первые 100-200 Кбайт ее содержания. Поэтому для того, чтобы страницы были проиндексированы полностью, их размер не должен превышать100 Кбайт.
Вы можете управлять работой поисковых роботов. Делается это при помощи файла robots.txt. Через него вы можете разрешить или же запретить индексацию тех или иных страниц. Закрыть для индексации определенные части страницы можно с помощью специального тега «NOINDEX». Но следует учитывать, что данный тег поддерживают только российские поисковые системы.
Базы данных «поисковиков» постоянно обновляются, поэтому записи в них могут изменяться, исчезать и снова появляться, в результате количество проиндексированных страниц сайта может меняться. И если страница исчезла страницы из индекса, то, скорее всего, она была недоступна в тот момент, когда поисковый робот пытался проиндексировать ее, но не смог получить к нему доступ по каким либо причинам. Но здесь ничего страшного нет, после того как сайт станет опять доступным, он через некоторое время поступит в очередь для индексации и буде переиндексирован. Стоит заметить тот факт, что чем больше сайт имеет внешних ссылок, тем быстрее будет происходить его переиндексация.
Проследить за процессом индексации можно при помощи анализа лог-файлов сервера, где фиксируются все посещения поисковыми роботами.
