Добрый день. Должен ли видеть это пользователь?
Нужно ли пользователю видеть /robots.txt
#1
Отправлено 10 апреля 2017 - 14:05
#2
Отправлено 10 апреля 2017 - 14:56
Ну давайте порассуждаем логически..
Вопрос первый: для чего нужен этот файл?
#3
Отправлено 10 апреля 2017 - 15:01
Вопрос первый: для чего нужен этот файл?
Как я понял этот файл нужен для в ограничении доступа роботов поисковых систем к разделам и страницам.
#4
Отправлено 10 апреля 2017 - 15:14
нет, не нужно
#5
Отправлено 10 апреля 2017 - 15:26
нет, не нужно
А чего на том же гугл это показывает?
Прикрепленные файлы
#6
Отправлено 10 апреля 2017 - 15:28
Вопрос первый: для чего нужен этот файл?
Как я понял этот файл нужен для в ограничении доступа роботов поисковых систем к разделам и страницам.
Да.
Теперь давайте подумаем, что представляет собой робот поисковой системы и как он обращается к этому файлу.
#7
Отправлено 10 апреля 2017 - 15:34
Не совсем так. Этот файл указывает краулерам что можно обрабатывать/индексировать, а что нет.Как я понял этот файл нужен для в ограничении доступа роботов поисковых систем к разделам и страницам.[/size]Вопрос первый: для чего нужен этот файл?
А теперь повторяем изначальный вопрос, должен ли пользователь иметь к нему доступ?
#8
Отправлено 10 апреля 2017 - 15:53
Вы меня запутали. Вы можете подсказать надо оно что бы было видно или нет, обычному пользователю?
#9
Отправлено 10 апреля 2017 - 16:38
Нет. Мы старые, толстые, вредние дядьки. Просто ответы мы даем на работе за деньги. А здесь мы развиваем комьюнити. Чтоб было с кем потом поговорить и поработать.
Поэтому мы будем рассуждать о том кому и зачем нужен этот файл. Приводить аналогии и доводить ваше понимание ситуации до полной неуместности заданного вопроса.
Продолжаем разговор.
Вот есть сервер на котором лежит куча контента доступного пользователю.
С другой стороны есть краулер( вы уже погуглили что это? ), который ходит по сайтам и индексирует их контент.
С третьей есть админ/владелец сайта, которого задолбало, что краулер пытается индексировать все, включая 300гигов порно на потайной страничке (которое он каждый раз, 3 раза в сутки, скачивает целиком).
С четвертой есть гугл/яндекс/рамбер/бинг которым индекс тайной порнухи и затраты на его индексацию нужны как зайцу пятая нога.
И тут-то и появляется он, robots.txt - список того, куда ходить не надо, который пишет админ сайта.
А теперь интрига, сможет-ли любой никому доселе неизвестный краулер воспользоваться файлом robots.txt, если этот файл нельзя будет скачать любому и каждому?
#10
Отправлено 11 апреля 2017 - 09:48
Вы меня запутали. Вы можете подсказать надо оно что бы было видно или нет, обычному пользователю?
Каким образом видно и где?
#11
Отправлено 11 апреля 2017 - 10:05
В браузере, по прямому запросу.Вы меня запутали. Вы можете подсказать надо оно что бы было видно или нет, обычному пользователю?
Каким образом видно и где?
#12
Отправлено 11 апреля 2017 - 10:29
Добрый день. Должен ли видеть это пользователь?
Да, должен.
Это простой текстовый файл, который лежит на сервере (как и любой css или js файл).
Прятать его — ненужное эстетство.
Software Testing Glossary - простыми словами о непростых словах.
#13
Отправлено 12 апреля 2017 - 12:13
нет, не нужно
Почему? Не знаю ни одного сайта, который бы прятал.
Количество пользователей, читающих эту тему: 0
0 пользователей, 0 гостей, 0 анонимных