Перейти к содержимому

Фотография

Нужно ли пользователю видеть /robots.txt


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 12

#1 Ma3auka

Ma3auka

    Новый участник

  • Members
  • Pip
  • 23 сообщений
  • ФИО:Павелко Артём Алексеевич
  • Город:Днепр

Отправлено 10 апреля 2017 - 14:05

Добрый день. Должен ли видеть это пользователь? 
 

Прикрепленные файлы


  • 0

#2 Freiman

Freiman

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 591 сообщений
  • ФИО:Андрей Адеркин
  • Город:Йошкар-Ола

Отправлено 10 апреля 2017 - 14:56

Ну давайте порассуждаем логически..

Вопрос первый: для чего нужен этот файл?


  • 0

#3 Ma3auka

Ma3auka

    Новый участник

  • Members
  • Pip
  • 23 сообщений
  • ФИО:Павелко Артём Алексеевич
  • Город:Днепр

Отправлено 10 апреля 2017 - 15:01

 

Вопрос первый: для чего нужен этот файл?

Как я понял этот файл нужен для в ограничении доступа роботов поисковых систем к разделам и страницам.


  • 0

#4 Lzk

Lzk

    Специалист

  • Members
  • PipPipPipPipPip
  • 504 сообщений
  • ФИО:Олег
  • Город:Мск

Отправлено 10 апреля 2017 - 15:14

нет, не нужно


  • 0

#5 Ma3auka

Ma3auka

    Новый участник

  • Members
  • Pip
  • 23 сообщений
  • ФИО:Павелко Артём Алексеевич
  • Город:Днепр

Отправлено 10 апреля 2017 - 15:26

нет, не нужно

А чего на том же гугл это показывает? 

Прикрепленные файлы


  • 0

#6 Freiman

Freiman

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 591 сообщений
  • ФИО:Андрей Адеркин
  • Город:Йошкар-Ола

Отправлено 10 апреля 2017 - 15:28

 

 

Вопрос первый: для чего нужен этот файл?

Как я понял этот файл нужен для в ограничении доступа роботов поисковых систем к разделам и страницам.

 

Да.

Теперь давайте подумаем, что представляет собой робот поисковой системы и как он обращается к этому файлу.


  • 0

#7 Little_CJIOH

Little_CJIOH

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 515 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 10 апреля 2017 - 15:34

Вопрос первый: для чего нужен этот файл?

Как я понял этот файл нужен для в ограничении доступа роботов поисковых систем к разделам и страницам.[/size]

Не совсем так. Этот файл указывает краулерам что можно обрабатывать/индексировать, а что нет.
А теперь повторяем изначальный вопрос, должен ли пользователь иметь к нему доступ?
  • 0

#8 Ma3auka

Ma3auka

    Новый участник

  • Members
  • Pip
  • 23 сообщений
  • ФИО:Павелко Артём Алексеевич
  • Город:Днепр

Отправлено 10 апреля 2017 - 15:53

Вы меня запутали. Вы можете подсказать надо оно что бы было видно или нет, обычному пользователю? 


  • 0

#9 Little_CJIOH

Little_CJIOH

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 515 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 10 апреля 2017 - 16:38

Мы еще даже и не начинали.
Нет. Мы старые, толстые, вредние дядьки. Просто ответы мы даем на работе за деньги. А здесь мы развиваем комьюнити. Чтоб было с кем потом поговорить и поработать.
Поэтому мы будем рассуждать о том кому и зачем нужен этот файл. Приводить аналогии и доводить ваше понимание ситуации до полной неуместности заданного вопроса.

Продолжаем разговор.

Вот есть сервер на котором лежит куча контента доступного пользователю.
С другой стороны есть краулер( вы уже погуглили что это? ), который ходит по сайтам и индексирует их контент.
С третьей есть админ/владелец сайта, которого задолбало, что краулер пытается индексировать все, включая 300гигов порно на потайной страничке (которое он каждый раз, 3 раза в сутки, скачивает целиком).
С четвертой есть гугл/яндекс/рамбер/бинг которым индекс тайной порнухи и затраты на его индексацию нужны как зайцу пятая нога.

И тут-то и появляется он, robots.txt - список того, куда ходить не надо, который пишет админ сайта.
А теперь интрига, сможет-ли любой никому доселе неизвестный краулер воспользоваться файлом robots.txt, если этот файл нельзя будет скачать любому и каждому?
  • 1

#10 aya

aya

    Постоянный участник

  • Members
  • PipPipPip
  • 246 сообщений
  • Город:Kharkov

Отправлено 11 апреля 2017 - 09:48

Вы меня запутали. Вы можете подсказать надо оно что бы было видно или нет, обычному пользователю? 

 

Каким образом видно и где? 


  • 0

#11 Little_CJIOH

Little_CJIOH

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 515 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 11 апреля 2017 - 10:05

Вы меня запутали. Вы можете подсказать надо оно что бы было видно или нет, обычному пользователю?

 
Каким образом видно и где?

В браузере, по прямому запросу.
  • 0

#12 astenix

astenix

    Специалист

  • Members
  • PipPipPipPipPip
  • 906 сообщений
  • ФИО:Лёша Лупан
  • Город:Кишинев


Отправлено 11 апреля 2017 - 10:29

Добрый день. Должен ли видеть это пользователь? 
 

Да, должен.

 

Это простой текстовый файл, который лежит на сервере (как и любой css или js файл).

 

Прятать его — ненужное эстетство.


  • 1

Software Testing Glossary - простыми словами о непростых словах.


#13 Snap

Snap

    Специалист

  • Members
  • PipPipPipPipPip
  • 980 сообщений
  • ФИО:Роман
  • Город:Москва


Отправлено 12 апреля 2017 - 12:13

нет, не нужно

Почему? Не знаю ни одного сайта, который бы прятал.


  • 0


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных