ПРОВЕСТИ ПОЛНЫЙ SEO АНАЛИЗ САЙТА - КОМПАНИЯ

"Сео-Толс" ООО, г. Краснодар, ул. Ставропольская 232,

тел. 8-861-299-02-62, +7-903-449-666-8

www.seo-tols.com  
Файл robots.txt и метатег ROBOTS
rss
Robots Exclusion Protocol (файл robots.txt) — еще один способ указать ПМ, ка­кие страницы не следует индексировать.
Это правда. Иногда после достижения хороших позиций в рейтингах, вы начи­наете понимать, что не хотите, чтобы некоторые страницы сайта посещали пользо­ватели. Или если вы не хотите, чтобы определенную страницу увидели первой. Или у вас есть одинаковые страницы для разных разрешений экрана: 800х 600 или 1024x768. Однако поисковики не любят зеркальные сайты, поэтому здесь есть смысл заблокировать один из вариантов сайта для поисковиков.
Кроме того, вы можете захотеть, чтобы поисковая машина не индексировала те или иные ваши страницы. Потому что, индексируя страницы, спайдеры поисковой машины функционируют с ограничениями по времени и ресурсам. А вам нужно, чтобы индексация сосредоточилась на наиболее важных страницах сайта, связан­ных с клиентами, товаром и ценами.
Другие страницы, от которых вы захотите держать подальше слайдеров поиско­вой машины, могут включать что-нибудь из папки cgi-bin, так же как и каталоги, которые содержат изображения или иные важные для компании данные. В основ­ном, если нет никакой пользы от появления страницы в результатах поиска машин, то вы можете скрыть эти страницы от спайдеров при помощи файла robots.txt. Это не только увеличит ресурсы поисковой машины, потраченные на ваши важ­ные страницы, но также поможет защитить ваш сайт от хакеров, которые могут в своих целях использовать результаты поисковой машины или заполучить важ­ную информацию о вашей компании или сайте. Спайдеры поисковой машины довольно охотны до индексации чего-нибудь, что они могут найти в сети, вклю­чая такие вещи, как файлы, где хранятся пароли. Таким образом, вы должны быть осторожными. Есть много причин, по которым вы можете захотеть скрыть свои страницы.
Хотя слайдеры поисковиков довольно примитивны, вы можете общаться с ни­ми. Для этого существуют файлы robots.txt, которые также известны как протоколы исключения. Это очень простой процесс создания текстового файла для размеще­ния в корневом каталоге. Каждый раз, когда спайдер делает запрос на ваш сайт, он запрашивает и файл robots.txt.
Файлы Robots.txt используются только ради одного — рассказать спайдерам по­исковых машин, какие страницы не нужно индексировать. Существует неправиль­ное представление о том, что файл Robots.txt может так или иначе использоваться, чтобы поощрять поисковые машины индексировать ваш сайт. Неверно! Страницы, которые соответствуют описанным выше принципам, с готовностью проверяются спайдерами поисковых машин, не нуждаясь в дополнительной поддержке. Как вы заметили, важная часть оптимизации поисковой машины (SEO) —- это идентифи­кация элементов, которые вызывают трудности индексации для слайдеров и устра­нение этих элементов.
Существует большая проблема, связанная с незнанием работы файла Robots.txt. Удивительное число сайтов случайно настроило свои файлы robots.txt так, чтобы препятствовать спайдерам поисковой машины нормально индексировать их сайт. Когда поисковый робот заходит на сайт, он первым делом проверяет, существу­ет ли файл www.site.ru/robots.txt Если таковой имеется, то робот анализирует его и руководствуется полученным содержанием. Вы, например, знаете, что добавление следующих двух строк в ваш файл robots.txt достаточно, чтобы поисковые машины никогда не заглядывали на ваш сайт?
User-agent: *
Disalow: /
Эти строки запрещают определенным роботам или пользовательским агентам просматривать заданные каталоги и страницы сайта. Звездочка означает, что указа­ния распространяются на всех роботов, но если вы хотите, чтобы запрет действовал на какого-то отдельного робота, укажите его имя вместо звездочки. В строке Disalow следует указать файлы и каталоги, которые вы не хотите ин­дексировать. Например, большинство администраторов не хотят, чтобы индекси­ровался каталог cgi-bin. В этом случае в файле КоЪо^.Ш следует указать:
User-agent: *
Disalow: /cgi-bin/
В Google Инструменты для веб-мастеров (http://google.com/webmasters/sitemaps) существует специальная опция, позволяющая просмотреть количество страниц, запрещенных к индексации. Метатег robots выполняет в точности те же функции, что и файл Robots.txt— но он не настолько надежен. Не все роботы воспринимают и тег ковотз.
Воспользуйтесь им, если ваш сайт пользуется услугами бесплатного хостинга. Если же у вас есть доступ к корневому каталогу, то забудьте про ковотз. Поль­зуйтесь файлом КоЬо15Дх1. Нет необходимости использовать оба метода. Текст для robots будет следующим:
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"
Вставьте его между тегами <HEAD> и </HEAD> на каждой странице, которая не должна индексироваться согласно вашему желанию.
 
Дата добавления: 2011-06-04 19:25:58, просмотров: 2861
Комментарии: 0
Пожалуйста, авторизируйтесь, для возможности добавить комментарий..

Оптимизация и продвижение сайта - наши цены

Аудит сайта - от 5 000 рублей.
Оптимизация КОДА сайта - от 3 500 рублей за 1 запрос ( не менее 5-ти запросов ) ЗАКАЗАТЬ!
Продвижение сайта в поисковых системах - от 13 000 рублей срок выполнения работ от одного месяца.
Услуги и тарифы по прогону хрумером, по блогам, по форумам, по профилям, по каталогам - от 3 000 рублей срок выполнения работ от одной недели
Копирайтинг текстов для сайта - от 1500 рублей за страницу формата А4 14 шрифтом. ЗАКАЗАТЬ!
Услуга КОМПЛЕКСНОГО ПРОДВИЖЕНИЯ САЙТА + публикация объявлений о сайте в системе контекстной рекламы - от 25000 рублей срок выполнения работ в течении одного месяца.

 

Форма заказа             БЕСПЛАТНОГО ПРОДВИЖЕНИЯ САЙТА - ЗДЕСЬ...
ндекс
Поляков Аркадий - Администратор проекта