Если Вы решили заняться бизнесом ... и занялись им :) то рано или еще раньше Вам придется столкнуться с разработкой своего сайта. И потратив много денег и времени, не говорите, что мы не предупреждали Вас о том, что у нас вы можете заказать все необходимые услуги дешевле и выполнены они будут профессионалами!

В этой краткой статье мы доступно рассматриваем команды robots.txt для поисковых роботов с примерами и советами реализации. Если Вы не знаете, что это такое, но у Вас есть сайт, обязательно прочтите эту статью, возможно, Вы найдете причину того, из-за чего к вам не заходят поисковики или отыщите причину утечки секретной информации robots.txt - это обычный текстовый файл, наличие которого самым первым проверяют поисковые роботы из-за того, что им, возможно, не придется индексировать этот сайт, а соответственно, его время не будет потеряно зря.

Для этого создадим файл robots.txt и напишем в него:
user-agent: * #Всем поисковым роботам
disallow: / #Запрещено к индексации все (корневая директория)

Но поисковик может обнаружить и другой вариант:
user-agent: * # Всем поисковым роботам
disallow: /temp/ #Запрещена к индексации директория temp
disallow: /virus/ #Запрещена к индексации директория virus

Также поисковой робот может обнаружить и такой вариант:
user-agent: googlebot #Поисковый робот google
disallow: / #Запрещено к индексации все (корневая директория)

И смешанный вариант:
user-agent: googlebot #Поисковый робот google
disallow: / #Запрещено к индексации все (корневая директория)

user-agent: * # Всем поисковым роботам
disallow: /temp/ #Запрещена к индексации директория temp
disallow: /virus/ #Запрещена к индексации директория virus

Теперь давайте рассмотрим первый пример. На мой взгляд, он актуален для тех сайтов, контент которых не должен распространяться с помощью поисковых роботов. Например, закрытый сайт любителей windows 3.11.

В варианте номер 2, как Вы заметили, отключены для индексации две директории, одна с постоянно временной информацией (эдакая свалка) а вторая со злостным вирусом. И первое, и второе не желательно распространять в Интернете, т.к. уже все и так на грани информационного апокалипсиса. Поэтому все, что не для всех, можно отключить. Вторая сторо