Перейти к содержимому

Фотография

Как скопировать (спарсить) DOM страницы?

webdriver c# selenium

  • Авторизуйтесь для ответа в теме
Сообщений в теме: 4

#1 Selen34

Selen34

    Новый участник

  • Members
  • Pip
  • 41 сообщений

Отправлено 06 января 2017 - 13:47

ИСПОЛЬЗУЕТСЯ: WebDriver, С#, Google chrome

 

ВОПРОС

  1. Как скопировать (спарсить) DOM страницы?

  • 0

#2 Freiman

Freiman

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 591 сообщений
  • ФИО:Андрей Адеркин
  • Город:Йошкар-Ола

Отправлено 06 января 2017 - 16:28

Не совсем понятен вопрос.

Что именно вам нужно?

Так-то просто исходный код страницы — тоже DOM :)


  • 1

#3 Selen34

Selen34

    Новый участник

  • Members
  • Pip
  • 41 сообщений

Отправлено 06 января 2017 - 17:52

Не совсем понятен вопрос.

Что именно вам нужно?

Прошу прощения, пока только осваиваю, поэтому могут  быть неточности в терминологии.

 

ИМЕЕТСЯ 

    - открыта страница в Google Chrome;

    - нажимаю Ctrl + Shift + I, появляется код страницы;

    - нажимаю Ctrl + F;

    - вставляю в строку поиска интересующий(искомый) меня домен;

    - домен найден в коде.

 

ВОПРОС

1. Как сделать тоже самое программой?

Я так понимаю:

  - либо найти домен 

   - либо скачать код страницы

2. Если скачивать код страницы, то скачается ли  содержимое iframe?

Т.к. искомый домен может находится в одном из фреймов.


  • 0

#4 Freiman

Freiman

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 591 сообщений
  • ФИО:Андрей Адеркин
  • Город:Йошкар-Ола

Отправлено 09 января 2017 - 13:14

1. Вам нужно узнать, есть ли некоторый домен в коде?
Исходный код можно получить программой, примеры - http://stackoverflow...urce-in-c-sharp и далее в тексте искать средствами C#, например, через contains()

Еще вариант - через Selenium

driver.FindElement(By.XPath("//*[text()='someText']))

- пример не проверялся, но вроде должно сработать.

2. Нет, содержимое iframe не подтянется, его надо будет получать отдельно.


  • 0

#5 baxatob

baxatob

    Опытный участник

  • Members
  • PipPipPipPip
  • 258 сообщений
  • ФИО:Юрий
  • Город:Riga

Отправлено 09 января 2017 - 15:08

Вообще, если нет жесткой привязки к технологиям, то для парсинга есть проверенные решения, которые близки к идеалу в своей простоте, надежности и функциональности, например Python + Requests + BeautifulSoup. 

Парсить на Селениуме - это низкопроизводительное извращение, уж простите. 


  • 1



Темы с аналогичным тегами webdriver, c#, selenium

Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных