Перейти к содержимому

Фотография

Что учить?


  • Авторизуйтесь для ответа в теме
Сообщений в теме: 8

#1 Ma3auka

Ma3auka

    Новый участник

  • Members
  • Pip
  • 23 сообщений
  • ФИО:Павелко Артём Алексеевич
  • Город:Днепр

Отправлено 12 февраля 2018 - 18:30

Добрый день, подскажите пожалуйста что надо знать для решение подобного?
Я не прошу решить. Подскажите что надо выучить что бы самому сделать и куда вообще дальше стремиться 
 

 

В приведенном ниже логе веб-сервера, используя командную строку unix, найти все не 200 коды ответов и вывести, отсортировав по “популярности”
 

64.242.88.10 - - [07/Mar/2004:16:11:58 -0800] "GET /twiki/bin/view/TWiki/WikiSyntax HTTP/1.1" 300 7352
64.242.88.10 - - [07/Mar/2004:16:20:55 -0800] "GET /twiki/bin/view/Main/DCCAndPostFix HTTP/1.1" 200 5253
64.242.88.10 - - [07/Mar/2004:16:23:12 -0800] "GET /twiki/bin/oops/TWiki/AppendixFileSystem?template=oopsmore¶m1=1.12¶m2=1.12 HTTP/1.1" 200 11382
64.242.88.10 - - [07/Mar/2004:16:24:16 -0800] "GET /twiki/bin/view/Main/PeterThoeny HTTP/1.1" 200 4924
64.242.88.10 - - [07/Mar/2004:16:29:16 -0800] "GET /twiki/bin/edit/Main/Header_checks?topicparent=Main.ConfigurationVariables HTTP/1.1" 401 12851
64.242.88.10 - - [07/Mar/2004:16:30:29 -0800] "GET /twiki/bin/attach/Main/OfficeLocations HTTP/1.1" 401 12851
64.242.88.10 - - [07/Mar/2004:16:31:48 -0800] "GET /twiki/bin/view/TWiki/WebTopicEditTemplate HTTP/1.1" 200 3732
64.242.88.10 - - [07/Mar/2004:16:32:50 -0800] "GET /twiki/bin/view/Main/WebChanges HTTP/1.1" 200 40520
64.242.88.10 - - [07/Mar/2004:16:33:53 -0800] "GET /twiki/bin/edit/Main/Smtpd_etrn_restrictions?topicparent=Main.ConfigurationVariables HTTP/1.1" 401 12851
64.242.88.10 - - [07/Mar/2004:16:35:19 -0800] "GET /mailman/listinfo/business HTTP/1.1" 200 6379
64.242.88.10 - - [07/Mar/2004:16:36:22 -0800] "GET /twiki/bin/rdiff/Main/WebIndex?rev1=1.2&rev2=1.1 HTTP/1.1" 200 46373
64.242.88.10 - - [07/Mar/2004:16:37:27 -0800] "GET /twiki/bin/view/TWiki/DontNotify HTTP/1.1" 500 4140
64.242.88.10 - - [07/Mar/2004:16:39:24 -0800] "GET /twiki/bin/view/Main/TokyoOffice HTTP/1.1" 400 3853
64.242.88.10 - - [07/Mar/2004:16:43:54 -0800] "GET /twiki/bin/view/Main/MikeMannix HTTP/1.1" 200 3686
64.242.88.10 - - [07/Mar/2004:16:45:56 -0800] "GET /twiki/bin/attach/Main/PostfixCommands HTTP/1.1" 401 12846
64.242.88.10 - - [07/Mar/2004:16:47:12 -0800] "GET /robots.txt HTTP/1.1" 200 68
64.242.88.10 - - [07/Mar/2004:16:47:46 -0800] "GET /twiki/bin/rdiff/Know/ReadmeFirst?rev1=1.5&rev2=1.4 HTTP/1.1" 200 5724
64.242.88.10 - - [07/Mar/2004:16:49:04 -0800] "GET /twiki/bin/view/Main/TWikiGroups?rev=1.2 HTTP/1.1" 200 5162
64.242.88.10 - - [07/Mar/2004:16:50:54 -0800] "GET /twiki/bin/rdiff/Main/ConfigurationVariables HTTP/1.1" 200 59679
64.242.88.10 - - [07/Mar/2004:16:52:35 -0800] "GET /twiki/bin/edit/Main/Flush_service_name?topicparent=Main.ConfigurationVariables HTTP/1.1" 401 12851
64.242.88.10 - - [07/Mar/2004:16:53:46 -0800] "GET /twiki/bin/rdiff/TWiki/TWikiRegistration HTTP/1.1" 200 34395
64.242.88.10 - - [07/Mar/2004:16:54:55 -0800] "GET /twiki/bin/rdiff/Main/NicholasLee HTTP/1.1" 401 7235
64.242.88.10 - - [07/Mar/2004:16:56:39 -0800] "GET /twiki/bin/view/Sandbox/WebHome?rev=1.6 HTTP/1.1" 200 8545
64.242.88.10 - - [07/Mar/2004:16:58:54 -0800] "GET /mailman/listinfo/administration HTTP/1.1" 200 6459
/twiki/bin/oops/TWiki/TextFormattingRules?template=oopsmore¶m1=1.37¶m2=1.37 HTTP/1.1" 301 11400
64.242.88.10 - - [07/Mar/2004:17:13:50 -0800] "GET /twiki/bin/edit/TWiki/DefaultPlugin?t=1078688936 HTTP/1.1" 401 12846
64.242.88.10 - - [07/Mar/2004:17:16:00 -0800] "GET /twiki/bin/search/Main/?scope=topic®ex=on&search=^g HTTP/1.1" 200 3675
64.242.88.10 - - [07/Mar/2004:17:17:27 -0800] "GET /twiki/bin/search/TWiki/?scope=topic®ex=on&search=^d HTTP/1.1" 200 5773
lj1036.inktomisearch.com - - [07/Mar/2004:17:18:36 -0800] "GET /robots.txt HTTP/1.0" 200 68
lj1090.inktomisearch.com - - [07/Mar/2004:17:18:41 -0800] "GET /twiki/bin/view/Main/LondonOffice HTTP/1.0" 200 3860
64.242.88.10 - - [07/Mar/2004:17:21:44 -0800] "GET /twiki/bin/attach/TWiki/TablePlugin HTTP/1.1" 401 12846
64.242.88.10 - - [07/Mar/2004:17:22:49 -0800] "GET /twiki/bin/view/TWiki/ManagingWebs?rev=1.22 HTTP/1.1" 200 9310
64.242.88.10 - - [07/Mar/2004:17:23:54 -0800] "GET /twiki/bin/statistics/Main HTTP/1.1" 500 808
64.242.88.10 - - [07/Mar/2004:17:26:30 -0800] "GET /twiki/bin/view/TWiki/WikiCulture HTTP/1.1" 200 5935
64.242.88.10 - - [07/Mar/2004:17:27:37 -0800] "GET /twiki/bin/edit/Main/WebSearch?t=1078669682 HTTP/1.1" 401 12846
64.242.88.10 - - [07/Mar/2004:17:28:45 -0800] "GET /twiki/bin/oops/TWiki/ResetPassword?template=oopsmore¶m1=1.4¶m2=1.4 HTTP/1.1" 503 11281
 

  • 0

#2 baxatob

baxatob

    Опытный участник

  • Members
  • PipPipPipPip
  • 258 сообщений
  • ФИО:Юрий
  • Город:Riga

Отправлено 13 февраля 2018 - 07:25

Ну очевидно, что надо изучить возможности командной строки. Отличная статья для начала: https://habrahabr.ru/post/267825/

 

А чтобы развиваться можно начать изучение одного из самых популярных языков программирования Python. Он как раз прекрасно подходит для решения подобных задач (анализ и обработка данных). И такие навыки уже неплохо оплачиваются.


  • 1

#3 Little_CJIOH

Little_CJIOH

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 515 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 13 февраля 2018 - 08:56

учить надо bash, все не 200-е решается командой grep -v
А вот вывести отсортировав по популярности - это уже извраты, даже для меня, 10 лет просидевшего в командной строке unix.
  • 0

#4 SALar

SALar

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 298 сообщений
  • Город:Москва


Отправлено 13 февраля 2018 - 14:09

Вот поэтому из стажеров знающих что-то одно:

  • Jira
  • Selenium
  • Appium
  • и т.д.

Я выберу того, кто знает Excel. В Excel эта задача решается довольно просто. 

 

Хотя можно греппом обойтись. А еще для извращенцев  можно залить в БД и написать простенький SQL запрос. 

Ну, и совсем уж для олдскульных извращенцев откопать турбобейсик и за пять минут написать простенькую программу.  Для извращенцев-админов поставить Zabbix. А может еще яндекс.метрика решает эту задача.

А еще... Ну даже не знаю. Столько всего вкусного.

 

PS. пора писать книгу "Думай как тестировщик".

 

PSS. грепом эта задача решается тривиально. В файлы "404.txt",  "503.txt" выводим строки содержащие соответствующие сигнатуры. Потом открываем в vim и смотрим сколько строк.


  • 0

-- 

Сергей Мартыненко

Блог 255 ступеней (байки для оруженосца)

facebook (Дети диаграммы Ганта)

ВебПосиделки клуба имени Френсиса Бэкона 

 


#5 Little_CJIOH

Little_CJIOH

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 1 515 сообщений
  • ФИО:Власкин Павел
  • Город:Санкт-Петербург


Отправлено 13 февраля 2018 - 14:21

Сергей, ты не прав.
excel подавится количеством строк.
Но считать стату в bash - это изврат, для этого есть гораздо более удобные python, ruby.
  • 0

#6 SALar

SALar

    Профессионал

  • Members
  • PipPipPipPipPipPip
  • 2 298 сообщений
  • Город:Москва


Отправлено 13 февраля 2018 - 14:27

Сергей, ты не прав.
excel подавится количеством строк.
Но считать стату в bash - это изврат, для этого есть гораздо более удобные python, ruby.

Зависит от объема. Для моего блога не подавится. Но в целом ты прав. И про python, ruby тоже согласен. или голый C. Или... В общем как в задаче про измерение высоты маяка при помощи барометра.

 

Тут еще такая штука, что я грепом никогда в жизни не пользовался.


  • 0

-- 

Сергей Мартыненко

Блог 255 ступеней (байки для оруженосца)

facebook (Дети диаграммы Ганта)

ВебПосиделки клуба имени Френсиса Бэкона 

 


#7 Ma3auka

Ma3auka

    Новый участник

  • Members
  • Pip
  • 23 сообщений
  • ФИО:Павелко Артём Алексеевич
  • Город:Днепр

Отправлено 15 февраля 2018 - 02:29

Спасибо большое всем за ответы.


  • 0

#8 Mendel

Mendel

    Новый участник

  • Members
  • Pip
  • 23 сообщений
  • ФИО:Александр

Отправлено 15 февраля 2018 - 12:53

Консоль удобна когда надо быстро получить базовую информацию из логов. Для глубоко анализа, действительно удобнее написать что то на python. Но это может быть разовый подход к логу и поиск чего то конкретного, в этом случае консоль может быть намного удобнее. Как пример, понять наличие определённых HTTP кодов, наличие долгих ответов и т.п.

Всё остальное, это забор лога с сервера, написание формул, инструментов. Это оттягивает получение результатов (при этом даёт возможность глубже разобрать лог и переиспользовать написанную утилиту).

Задача легко решается однострочником (смотреть надо в сторону: grep, awk, sort, uniq), но наверняка можно и другими способами.

В примере есть строчки с кривой кодировкой и битым форматом, это может быть отдельной проблемой при любом подходе к анализу лога.


  • 0

#9 BadMF

BadMF

    Специалист

  • Members
  • PipPipPipPipPip
  • 809 сообщений
  • ФИО:Dmitry Petrov

Отправлено 15 февраля 2018 - 15:29

ну тут как бы в задаче всё указано, для начала надо учить понимание поставленной задачи и умении сосредотачиваться на чтении и понимании =)

 

Какие могут быть вопросы к данной постановке задачи? 

 

В приведенном ниже логе веб-сервера, используя командную строку unix, найти все не 200 коды ответов и вывести, отсортировав по “популярности” 

  • 0


Количество пользователей, читающих эту тему: 0

0 пользователей, 0 гостей, 0 анонимных