Сообщений в теме: 13

[sysanin]

Работаю в небольшой фирме, которая занимается разработкой сайтов.

Расскажу, чем я занимаюсь, как тестировщик:
* тестирую верстку на соответствие ТЗ_для_верстальщика
* проверяю код с помощью html- и css-валидаторов
* смотрю работу сайта под разными браузерами
* проверяю валидность ссылок на сайте с помощью валидатора

НО сейчас нужно проверить абсолютно все ссылки на сайте и получить результат, что нету битых, кривых и прочих ссылок+составить список ВСЕХ ссылок на сайте+получить краткую инфу по каждой сссылке.

Для себя нашел:

1. XENU - бессплатная, но постоянно вываливает ошибку "OUT OF MEMORY" и доделать начатое я не могу, НО в ней если и находились битые ссылки, то можно было узнать откуда переход был на эту битую ссылку.
2. Screaming Frog SEO Spider - стоит 99 фунтов, но не уверен, что будет работать надежно и сделает все, что мне нужно )))
3. Подскажите еще варианты? вроде как у гугла и у яндекса есть ...

[Norf]

Есть много онлайн-решений. Но я не уверен, что они будут работать лучше / надёжнее, чем Xenu. Гуглятся по запросу "проверка сайта на битые ссылки онлайн". Там же в числе первых есть описание решения проблемы с помощью панелей вебмастера от Гугла и Яндекса (собственно, вот).
P.S. Сам пользовался Xenu, но мне оно редко надо, да и проекты небольшие, потому, видимо, никаких проблем с ним не возникало.

[ch_ip]

НО сейчас нужно проверить абсолютно все ссылки на сайте и получить результат, что нету битых, кривых и прочих ссылок+составить список ВСЕХ ссылок на сайте+получить краткую инфу по каждой сссылке.

Для себя нашел:

1. XENU - бессплатная, но постоянно вываливает ошибку "OUT OF MEMORY" и доделать начатое я не могу, НО в ней если и находились битые ссылки, то можно было узнать откуда переход был на эту битую ссылку.
2. Screaming Frog SEO Spider - стоит 99 фунтов, но не уверен, что будет работать надежно и сделает все, что мне нужно )))
3. Подскажите еще варианты? вроде как у гугла и у яндекса есть ...

http://linkchecker.sourceforge.net/ Пробовали?
На каком этапе отваливается Xenu? Пробовали убрать лишние данные из построения отчета? Например, построить отчет только по битым ссылкам, а карту сайта не строить.
Сколько всего примерно ссылок у вас на сайте полчается? У меня нормально строились отчеты в Xenu при более 200к проверяемых ссылок
А зачем нужен список всех ссылок?
Что такое краткая инфа по каждой ссылке? Зачем и кому это надо?

[Calambus]

Добрый вечер. когда то на проекте нужно было реализовать нечто подобное... Проверку всех ссылко на сайте на response 400
Реализовал достаточно просто с помощью JMeter. Единственное что вам для этого потребуется, выгрузить список всех ссылок в txt или csv файл.
Если знакомы с JMeter то можете написать в личку, постараюсь ответить по подробнее :)

[Freiman]

Реализовал достаточно просто с помощью JMeter. Единственное что вам для этого потребуется, выгрузить список всех ссылок в txt или csv файл.
Если знакомы с JMeter то можете написать в личку, постараюсь ответить по подробнее :)

если у нас есть список всех ссылок, то зачем нам вообще тогда jmeter?
задача решается простым скриптом на любом современном ЯП :)

[Snap]

НО сейчас нужно проверить абсолютно все ссылки на сайте и получить результат, что нету битых, кривых и прочих ссылок+составить список ВСЕХ ссылок на сайте+получить краткую инфу по каждой сссылке.

Для себя нашел:

1. XENU - бессплатная, но постоянно вываливает ошибку "OUT OF MEMORY" и доделать начатое я не могу, НО в ней если и находились битые ссылки, то можно было узнать откуда переход был на эту битую ссылку.
2. Screaming Frog SEO Spider - стоит 99 фунтов, но не уверен, что будет работать надежно и сделает все, что мне нужно )))
3. Подскажите еще варианты? вроде как у гугла и у яндекса есть ...

1. XENU ф топку )
2. Screaming Frog SEO Spider - Мы себе приобрели, правда для других целей. Есть и бесплатная версия, но урезанная в использовании. Но я не уверен, что данная программа умеет сама собирать все ссылки на страницах - только если ей подсунуть файл со списком. Иначе проверит только ссылки на заданном URL.
3. Сам создавал подобную тему, надеясь, что кто-то подскажет что-то платное, но увы...

[ch_ip]

НО сейчас нужно проверить абсолютно все ссылки на сайте и получить результат, что нету битых, кривых и прочих ссылок+составить список ВСЕХ ссылок на сайте+получить краткую инфу по каждой сссылке.

Для себя нашел:

1. XENU - бессплатная, но постоянно вываливает ошибку "OUT OF MEMORY" и доделать начатое я не могу, НО в ней если и находились битые ссылки, то можно было узнать откуда переход был на эту битую ссылку.
2. Screaming Frog SEO Spider - стоит 99 фунтов, но не уверен, что будет работать надежно и сделает все, что мне нужно )))
3. Подскажите еще варианты? вроде как у гугла и у яндекса есть ...

1. XENU ф топку )
2. Screaming Frog SEO Spider - Мы себе приобрели, правда для других целей. Есть и бесплатная версия, но урезанная в использовании. Но я не уверен, что данная программа умеет сама собирать все ссылки на страницах - только если ей подсунуть файл со списком. Иначе проверит только ссылки на заданном URL.
3. Сам создавал подобную тему, надеясь, что кто-то подскажет что-то платное, но увы...

Чем не устраивает XENU и linkchecker?

[Snap]

НО сейчас нужно проверить абсолютно все ссылки на сайте и получить результат, что нету битых, кривых и прочих ссылок+составить список ВСЕХ ссылок на сайте+получить краткую инфу по каждой сссылке.

Для себя нашел:

1. XENU - бессплатная, но постоянно вываливает ошибку "OUT OF MEMORY" и доделать начатое я не могу, НО в ней если и находились битые ссылки, то можно было узнать откуда переход был на эту битую ссылку.
2. Screaming Frog SEO Spider - стоит 99 фунтов, но не уверен, что будет работать надежно и сделает все, что мне нужно )))
3. Подскажите еще варианты? вроде как у гугла и у яндекса есть ...

1. XENU ф топку )
2. Screaming Frog SEO Spider - Мы себе приобрели, правда для других целей. Есть и бесплатная версия, но урезанная в использовании. Но я не уверен, что данная программа умеет сама собирать все ссылки на страницах - только если ей подсунуть файл со списком. Иначе проверит только ссылки на заданном URL.
3. Сам создавал подобную тему, надеясь, что кто-то подскажет что-то платное, но увы...

Чем не устраивает XENU и linkchecker?

XENU - неверные результаты, собстна на этом можно и закончить. То есть много из тех ссылок, что выдают 404 или таймаут на самом деле рабочие и другие линкчекеры на них не ругаются. А еще как было сказано выше - нехватка памяти при проверке больших проектов (сотни тысяч ссылок)
linkchecker - гораздо лучше, его пока и использую. Минусы - не очень удобный интерфейс: нельзя скопировать отдельно строку в списке, немного настроек (например, я не нашел как отключить внешние ссылки) и опять же зависает на больших проектах.

[ch_ip]

XENU - неверные результаты, собстна на этом можно и закончить. То есть много из тех ссылок, что выдают 404 или таймаут на самом деле рабочие и другие линкчекеры на них не ругаются. А еще как было сказано выше - нехватка памяти при проверке больших проектов (сотни тысяч ссылок)

не замечал такого за Xenu.
А вы на скольки потоках проверяете и не ложится ли у вас сайт во время такого тестирования? То есть, может быть там реальные таймауты из-за большого числа запросов к серверу?
Аналогично вопрос про память - сколько памяти на тестовой машине, где Xenu запускаете?
Может в несколько заходов имеет смысл проверять, ограничив глубину?

[Snap]

XENU - неверные результаты, собстна на этом можно и закончить. То есть много из тех ссылок, что выдают 404 или таймаут на самом деле рабочие и другие линкчекеры на них не ругаются. А еще как было сказано выше - нехватка памяти при проверке больших проектов (сотни тысяч ссылок)

не замечал такого за Xenu.
А вы на скольки потоках проверяете и не ложится ли у вас сайт во время такого тестирования? То есть, может быть там реальные таймауты из-за большого числа запросов к серверу?
Аналогично вопрос про память - сколько памяти на тестовой машине, где Xenu запускаете?
Может в несколько заходов имеет смысл проверять, ограничив глубину?

По умолчанию на 30, но пробовал и меньше. Сайты, конечно, не ложатся - так как по идее рассчитаны на большую нагрузку, хоть и работают, в целом, не шустро. Но во-первых, нельзя выставить время таймаута, во-вторых, повторюсь, в других программах такого нет (проверял на нескольких с таким же кол-вом потоков). На тестовой машине 4 гига памяти, но суть такова, что после многочасовой проверки программы либо выдают нехватку памяти (репорт кстати в XENU выключаю), либо зависают.
Да, приходится тестить частями или отключать некоторые страницы через фильтр.

[gamretsky]

2. Screaming Frog SEO Spider - Мы себе приобрели, правда для других целей. Есть и бесплатная версия, но урезанная в использовании. Но я не уверен, что данная программа умеет сама собирать все ссылки на страницах - только если ей подсунуть файл со списком. Иначе проверит только ссылки на заданном URL.

А карту сайта ей подсунуть не пробовали?

[gamretsky]

XENU - неверные результаты, собстна на этом можно и закончить. То есть много из тех ссылок, что выдают 404 или таймаут на самом деле рабочие и другие линкчекеры на них не ругаются. А еще как было сказано выше - нехватка памяти при проверке больших проектов (сотни тысяч ссылок)
linkchecker - гораздо лучше, его пока и использую. Минусы - не очень удобный интерфейс: нельзя скопировать отдельно строку в списке, немного настроек (например, я не нашел как отключить внешние ссылки) и опять же зависает на больших проектах.

Она выдает не верные результаты если не может достучаться к какому либо из элементов на странице. Лично у меня вываливалось когда не могло достучаться к faceook, так как на странице была кнопка Like. Во всех остальных случаях нормально отрабатывало. Что еще в минуса можно добавить так это формирование отчета, все в текстовый файл и если много страниц, тогда можно идти пить кофе, обедать и ехать домой.

[Snap]

2. Screaming Frog SEO Spider - Мы себе приобрели, правда для других целей. Есть и бесплатная версия, но урезанная в использовании. Но я не уверен, что данная программа умеет сама собирать все ссылки на страницах - только если ей подсунуть файл со списком. Иначе проверит только ссылки на заданном URL.

А карту сайта ей подсунуть не пробовали?

Пробовали. Поэтому и написал "подсунуть файл" .

Насчет XENU в целом-то программа прикольная, жаль что более не поддерживается.

[Lissa_Missa]

Тогда возможно вам стоит попробовать использовать какие-то доп программы, например вот http://linkbox.pro/r...obratnyh-ssilok сервис от ЛинкБокс, как раз для регулярной проверки обратных ссылок.