Сообщений в теме: 8

[vitaliy4us]

Google дает сделать около 20 запросов и выбрасывает капчу. Не влияют ни интервалы между запросами, ни даже вход под разными Ip (кстати, как же ему тогда удается отлавливать?). Можно ли каким-либо образом, используя WebDriver, организовать автоматические запросы?

[barancev]

Пользовательский интерфейс Google не предназначен для того, чтобы через него выполнялись действия роботами, и препятствует этому.

 

Вместо этого нужно использовать Search API: https://developers.g...api/v1/overview

(и для выполнения большого количества запросов нужно платить за использование сервиса, да)

[vitaliy4us]

Пользовательский интерфейс Google не предназначен для того, чтобы через него выполнялись действия роботами, и препятствует этому.

 

Вместо этого нужно использовать Search API: https://developers.g...api/v1/overview

(и для выполнения большого количества запросов нужно платить за использование сервиса, да)

А какое количество запросов можно считать большим? Ну т.е. какое количество и за какое время можно делать бесплатно?

[vitaliy4us]

Search API это, конечно интересно, однако он выдает поразительную разницу с количеством результатов, найденных в стандартном пользовательском поисковике Google. Например, если в поисковике вбить запрос Beatles, то получим что-то около 107 000 000 результатов. А если то же самое сделать в Google Custom Search (ну, или воспользоваться Search API), то получим только 10 900 000. Почему возникает огромная разница почти в 10 раз?

P.S. Google Custom Search настроен на поиск во всем интернете, никаких фильтров или ограничений по используемым сайтам для поиска не применялось.

[barancev]

Про количество запросов и стоимость есть информация как раз на той самой странице по ссылке.

 

Что касается количества результатов и даже самих результатов -- конечно нет никаких гарантий, что API будет возвращать в точности то же самое, что и пользовательский интерфейс. Я лишь хотел сказать, что Google активно препятствует использованию пользовательского интерфейса роботами и предложил "официальную" альтернативу.

 

Кстати, а как Вы организовали использование разных IP-адресов? И насколько много их было, разных?

[vitaliy4us]

Про количество запросов и стоимость есть информация как раз на той самой странице по ссылке.

 

Что касается количества результатов и даже самих результатов -- конечно нет никаких гарантий, что API будет возвращать в точности то же самое, что и пользовательский интерфейс. Я лишь хотел сказать, что Google активно препятствует использованию пользовательского интерфейса роботами и предложил "официальную" альтернативу.

 

Кстати, а как Вы организовали использование разных IP-адресов? И насколько много их было, разных?

Есть 3 VPN на 3 разных сервера. Подключаюсь через первый VPN, делаю запрос Google (хоть через браузер при помощи WebDriver, хоть через get-запрос из скрипта), Возвращаюсь на пустую страницу браузера, отключаю соединение VPN и перехожу к следующему VPN, делаю второй запрос Google, ну и т.д. Через 20 запросов получаю капчу. Никакой разницы, как если бы делать запросы напрямую с одного Ip.

Что же касается Custom Search API, то согласен конечно, что разница по сравнению с запросами в Google может быть, но согласитесь, - в 10 раз это уж слишком. Причем закономерность соблюдается по отношению ко всем запросам - это уж какая то система.

[vitaliy4us]

Вот нашел, действительно разница есть:

 

https://support.goog...wer/70392?hl=en

[Shyster]

Вы кукисы чистите? Гугл ставит куку, по ней определяет время и кол-во запросов. Во всяком случае с google ads так. Я вообще ставлю фейк кукиес для некоторых вещей.

[vitaliy4us]

Вы кукисы чистите? Гугл ставит куку, по ней определяет время и кол-во запросов. Во всяком случае с google ads так. Я вообще ставлю фейк кукиес для некоторых вещей.

Нет, не чистил. Надо попробовать.