Прежде чем сеять панику, необходимо понять следующую вещь. Индексация в яндексе зачастую происходит дольше, чем в Google. Поэтому, если ваш сайт совсем новый, и вы только недавно отправили его на индексацию, то следует немного подождать. Средний срок индексации в Яндексе составляет около 2-3х недель.
Если же проблема не решается в течение месяца, то необходимо рассмотреть следующие варианты:
Закрыт вход на ваш сайт
Вероятность данной ситуации, крайне мала, однако существует, поэтому в первую очередь рекомендуется проверить файл Robots.txt на предмет открытия доступа к сайту.
Неправильный тег <noindex>
Использование данного тега, связано с тем, чтобы определенный код не попал в индекс Яндекса. На некоторых сайтах наблюдается такая ошибка: открытый тег <noindex> в начале сайта в шапке забывали закрыть, в конечном итоге весь код страницы «прячется» от робота.
Иностранный язык на сайте
Система Яндекс предрасположена к использованию на просторах рунета, в связи с чем, возникают трудности индексации, если используемый язык на сайте отличен от языков стран СНГ. Решить данную проблему можно путем обращения в службу поддержки.
Заметив данную проблему, следует обратить внимание на следующее:
Мета-тег Robots
При наличии на странице подобного тега <meta name="robots" content="noindex, nofollow"> приведет к не индексации.
Плохая HTML-разметка
Неправильно вложенные теги, могут создать проблемы для роботов в процессе разбора страницы. Конечным результатом ошибки в разметке может стать либо полная не индексация, либо ухудшение ее ранжирования.
В каждой поисковой системе у роботов существует лимит времени, за который они обращаются к веб – страницам. Если страница не открылась после нескольких запросов, робот не сможет узнать какую информацию необходимо поместить в свой индекс. Довести загрузку страницы до времени в доли секунд не является необходимым, достаточно 3-4 секунд, это будет приемлемо. В основном время загрузки сайта зависит от хостинга, поэтому данному вопросу необходимо уделять особое внимание, чтобы не столкнуться с массой возможных проблем.
Возникновение ошибок сервера с кодами 4хх и 5хх
Вместе со страницей, которую мы видим, когда заходим на сайт, сервер отдает и код этой страницы. Часто возникает внутренняя ошибка сервера, которая имеет код 500. Возникает данная ошибка не из-за плохого качества хостинга, а из-за неправильных серверных скриптов, которые написал владелец сайта. Ошибка 404 так же достаточно распространена, она сообщает о том, что страница не найдена, при этом вместо страницы выводится специальная страница с сообщением «Страница не найдена». В обоих случаях поисковый робот не индексирует полученную страницу, так как её код говорит о проблемах на данной странице.
Отсутствует настройки домена с www и без www
Это не распространенная причина, но она все же встречается. Правильным подходом является настройка работы сайта на каком-нибудь одном домене:
http://blog.ru
http://www.blog.ru
Для поисковой системы Яндекс настроить эту функцию можно с помощью файла Robots.txt либо же нужно указать главное зеркало в панели вебмастера. Самым лучшим вариантом, является настройка 301-го редиректа в .htaccess.
Худший вариант – домен имеющий “плохую” историю
Вероятнее всего вы подобрали доменное имя, которое раньше имело плохую репутацию у поисковых роботов. К примеру, это мог быть дорвей или adult-ресурс. Либо же данный сайт занимался активной продажей ссылок с автобирж, за это и получил бан в поисковых системах. Если на данном домене имело место злоупотребление черными SEO методами, то к новому ресурсу поисковые роботы определенное время будут относиться особенно, и нормальной индексации необходимо будет подождать.