Сообщений в теме: 5

[Dob3r]

Добрый день! 

 

Работаю с Python и Selenium.

 

На Web страничке имеется таблица, в которой много строк, но чтобы просмотреть все строки нужно скроллировать таблицу -> то есть в DOM все строки таблицы сразу не видны, а они подгружаются по мере скроллирования.

 

Задача: Необходимо получить данные из всех строк таблицы.

 

Проблема: Так как не все строки видны в DOM, то мой код работает только для тех строк, которые видны.

 

Вопрос: Есть ли какой то инструмент, который может выгрузить все строки таблицы и таким образом можно получить все данные?

[user12]

Это через БД делается, скроллить странное решение

[gako]

Ну да, если есть доступ в БД, то лучше сразу туда слать запрос.

 

Какая вообще сверхзадача стоит - тестируете свое приложение или скрапингом данных с какого-то сайта занимаетесь?

[Dob3r]

Да, тестирую рабочее приложение. 

[gako]

Да, тестирую рабочее приложение. 

 

Тогда попросите разработчиков, чтобы сделали прямую выдачу по запросу. Python + Requests в помощь. 

[Spock]

если надо протестировать функцию веб-страницы "подгрузка данных при скроллировании" - тогда надо создать веб-драйвер(селениум) тест который будет тестировать что при открытии страницы только часть данных отображается, потом сделать скролл и проверить что отобразилось больше данных

если надо протестировать что рест-сервис возвращает все данные - тогда надо интеграционный тест сделать

 

а скорее всего в данном случае нужно просто создать юнит тест, который проверяет что метод возвращает все нужные данные, и не надо никаких ненужных доступов из Селениум в базу данных