Все о создании и продвижении сайтов, а также заработке в интернете.

Смысл файла Robots.txt в оптимизации

Смысл файла Robots.txt в оптимизации
Опубликовано в Создание сайта
/
21 Июл 2013
/

Наверное, каждый веб мастер видел у себя на хостинге в корневом каталоге файл robots.txt, если создавал сайт с помощью CMS. Более продвинутые разработчики создают и правят этот файл сами. Без него можно обойтись. Но именно его отсутствие может не только навредить вашему сайту, а как не странно – вывести его из строя.

Некоторые пользователи любят создавать форумы, гостевые книги и поля для комментариев. Но при этом допускают одну большую ошибку – либо забывают, что они это сделали и вовсе не контролируют созданное, либо помнят, не выставляют в меру различных причин защитный инструментарий. После таких ошибок всевозможные открытые поля ввода за считанные дни покрываются спамом, нецензурной бранью, посторонней рекламой и иными действиями и поступками. И что самое страшное – всё это остаётся на анализ роботам. А последним всё равно, что анализировать. Данные передаются службам, а при обнаружении проблем и неполадок – в РосКомНадзор. А там уже решают, что с вами делать.

Файл robots.txt устанавливает правила и исключение на сканирование ваших страниц сайтов. С помощью этого файла можно запретить доступ на форум, поля комментарий или любую гостевую книгу. Так же можно не индексировать личную информацию, текста с закрытых страниц и многое другое, что очень полезно не только в целях защиты, но и конфиденциальности.

Язык написания команд простой и базируется на регулярных выражениях, которые можно найти в сети и перестроить под свой сайт. Так же в файле robots.txt можно запретить:

1.            Посещать определённые папки сайта, страницы, разделы, домены.

2.            Считывать информацию с определённого IP адреса.

3.            Поиск и индексирование определёнными поисковиками.

Файл настройки может не только запретить индексацию определённой папки или страницы, а так же перенаправление в другой каталог или зеркало. Самым эффективным использованием файла robots.txt является запрет индексации:

1.            Административных папок и файлов.

2.            Фалов, о которых не рекомендуется знать пользователю.

3.            Документы, предназначены для печати.

4.            Файлы и папки со скриптами, картинками.

5.            Серверные страницы, карты Google и Яндекса.

Тем самым настройка файла robots.txt поможет вам не только обезопасить себя и свой сайт от нежелательного индексирования лишних или конфиденциальных файлов, но и ускорит саму индексацию роботом, а так же предотвратит блокировку аккаунта из-за назойливых спамщиков.

1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд Оценка: 0,00 из 5 (голосов: 0)
Loading...Loading...

Оставить комментарий

Войти с помощью: