Сообщений в теме: 13

[Vitaliy_S]

Добрый день!

 

Настраиваю автоматизацию в одном из сервисов Google (AdWords).

Страница загружается полностью (окно развёрнутое), элементы находятся в DOM Inspector - Selenium их не находит.

Вывожу код через функцию

driver.page_source 

from selenium import webdriver
...
driver.get('https://ads.google.com/aw/...')
driver.implicitly_wait(60)
print(driver.page_source)

код выводится урезанный, необходимых элементов нет. Пробовал через Chrome и Firefox.

 

Подскажите в каком направлении искать решение? Направьте на путь истинный)

 

Python 3.8

Selenium 3.141.0

ChromeDriver 80.0.3987.106

geckodriver-v0.26.0

[sergueik]

используйте

• find_element_by_id
• find_element_by_name
• find_element_by_xpath
• find_element_by_link_text
• find_element_by_partial_link_text
• find_element_by_tag_name
• find_element_by_class_name
• find_element_by_css_selector
•  

https://selenium-pyt...g-elements.html

 

забудьте про getPageSource 

[Vitaliy_S]

используйте

• find_element_by_id
• find_element_by_name
• find_element_by_xpath
• find_element_by_link_text
• find_element_by_partial_link_text
• find_element_by_tag_name
• find_element_by_class_name
• find_element_by_css_selector
•  

https://selenium-pyt...g-elements.html

 

забудьте про getPageSource 

Конечно я использую данные методы. Искал по:

• find_element_by_xpath
• find_element_by_css_selector
• find_element_by_class_name

driver.page_source - мне нужен был для понятия по какому коду ищет Selenium

Код полученный с помощью driver.page_source отличается (не хватает блоков в которых присутствуют необходимые элементы) от кода в ChromeDriver, при этом страница загружена полностью со всеми элементами

[sergueik]

используйте девтулз для генерации selector или xpath для тех элементов которые вам нужны а не page_source

[Freiman]

используйте девтулз для генерации selector или xpath для тех элементов которые вам нужны а не page_source

Не используйте девтулз, они генерят какой-то неюзабельный трэш

[Vitaliy_S]

используйте девтулз для генерации selector или xpath для тех элементов которые вам нужны а не page_source

Сергей, или я не понимаю что вы хотите мне донести, или вы не поняли мой вопрос.

 

 

1. При поиске элементов я использовал: 

• find_element_by_xpath
• find_element_by_css_selector
• find_element_by_class_name

На этапе поиска "page_source" не участвует, его в коде нет. Selenium элемент не находит, страница загружается полностью, в Chrome DevTools элемент есть, размер окна максимальный, driver.implicitly_wait(60)

 

Строка поиска элемента имеет вид:

balance = driver.find_element_by_xpath("//div[@class='b3-balance-card b3id-plp-balance-card']//div[@class='b3-balance-card-headline']").text

 

2. Вывожу код с помощью "page_source". В этом коде нет блока в котором присутствуют нужные мне элементы.

 

В этом и вопрос, почему при использовании функции "page_source" я не вижу этих элементов (страница загружена полностью)?

[Freiman]

В этом и вопрос, почему при использовании функции "page_source" я не вижу этих элементов (страница загружена полностью)?

page_source != DOM

Эти элементы подгружаются джаваскриптом позже, так что в исходном коде страницы их нет.

[Vitaliy_S]

 

В этом и вопрос, почему при использовании функции "page_source" я не вижу этих элементов (страница загружена полностью)?

page_source != DOM

Эти элементы подгружаются джаваскриптом позже, так что в исходном коде страницы их нет.

 

По этой причине Selenium их не находит, такое возможно?

[Freiman]

По этой причине Selenium их не находит, такое возможно?

Скажем так, это не исключено.

[Vitaliy_S]

 

По этой причине Selenium их не находит, такое возможно?

Скажем так, это не исключено.

 

Благодарю за подсказку, изучу вопрос в этом направлении

[sergueik]

не находит потому что плохой локатор

дев тулз файрбаг и т.д. все предлагают проверять ими же сгенеророванные локаторы

я просто предложил 

это сделать и уже проверенные локаторы использовать ве коде 

про pagesource обсудили с ним надеюсь ясно все

 

кстати вместо page_source вы наверное имели в виду  getAttribute("outerHTML")

[Vitaliy_S]

Решение найдено!

 

Код body помещён в iframe:

<iframe
<body
...
</body>
</iframe>

Для прочтения кода во фрейме применил функцию driver.switch_to.frame()

 

Искомые элементы найдены, всех благодарю за участие в поиске решения

[sergueik]

Решение найдено!

 

Код body помещён в iframe:

<iframe
<body
...
</body>
</iframe>

Для прочтения кода во фрейме применил функцию driver.switch_to.frame()

 

Искомые элементы найдены, всех благодарю за участие в поиске решения ра

рад за вас хотя помоему фрейм это как бы basic answer

[Creep2310]

Спасибо за ответ! Я мучился с сайтом 4 дня подряд, оказывается это из-за фрейма. СПАСИБО!!!