Вы меня неправильно поняли.
Сама идея "получить список всех ссылок на странице" неверна.
После каждого обновления страницы Вы список будете формировать заново?
Правильный подход: использовать только те ссылки, которые нужны в определённый момент времени.
Дело в том что мне необходимо проверять каждый раз "новую" страницу... и данных страниц несметное количество.
Если взять полную задачу: мне необходимо собрать все ссылки на странице, отфильтровать - оставить только те, что принадлежат данному ресурсу,
после пройти по ним и проверить наличия на данных страницах так сказать "ключевого слова". Причем "глубина" перехода по ссылкам может быть различной.
И я не совсем понимаю , что значит "которые нужны в определённый момент времени".