технологиятестированиедиагностика и управлениерешениявитрина

Аудит "здоровья" сети своими силами

Градуировка оценочных тестов

Достоверность оценочных тестов сильно зависит от правильности установки пороговых значений. Несмотря на то, что предустановленные пороговые значения в большинстве случаев позволяют адекватно оценить "здоровье" сети, полностью полагаться на них не рекомендуется. В наибольшей степени это относится к пороговым значениям активных тестов, т.к. скорость выполнения сетевых операций очень сильно зависит от архитектуры и топологии сети. Чтобы гарантировано выявить все скрытые проблемы сети, необходимо градуировать оценочные тесты, т.е. определить пороговые значения именно для вашей сети. Это можно сделать разными способами, с разной точностью. Ниже мы расскажем о наиболее точном, хотя и не самом простом способе. Он заключается в сопоставлении друг с другом метрик, характеризующих скорость сети, и метрик, характеризующих удовлетворенность пользователей бизнес-приложений качеством их работы. Этот метод называется: "Найти Точку Опоры".

В качестве метрики, характеризующей удовлетворенность пользователей, предлагаем использовать метрику СОКС (Субъективная Оценка Качества Сервиса), которая вычисляется следующим образом. Если в данный момент времени (по умолчанию - одна минута) существует хотя бы один пользователь, который недоволен производительностью бизнес-приложения, то значение СОКС принимает значение 0, если таких пользователей нет, то значение СОКС равно единице. Измерить СОКС можно следующим способом.

Из числа пользователей бизнес-приложения сформируйте фокус группу, в состав которой должны войти наиболее опытные, и при этом, наиболее активные пользователи (~ 10%-20% от общего числа пользователей). Для этого вам может потребоваться помощь руководителя ИТ-Службы. Обычно руководители поддерживают такие инициативы, т.к. они повышают престиж ИТ-службы. (Вы изучаете мнение пользователей, целью которого является улучшение работы ИТ-Инфраструктуры.)

Установите на компьютеры членов фокус группы 30-ти дневную версию программы ProLAN HelpMe, входящую в дистрибутив QuTester Plus. Попросите этих пользователей сделать следующее. Как только они обнаружат замедление в работе бизнес-приложения, которое длится дольше психологически допустимого порога (например, 3-х секунд), они должны нажать определенную комбинацию клавиш на своем компьютере, например, Ctrl+F2+F2. В этом случае программа HelpMe автоматически отправит SNMP-Трап, который будет принят программой SLA-ON Operations, входящей в состав QuTester Plus. Если в данный момент времени (данную минуту) был получен хотя бы один такой SNMP-трап, то в данную минуту значение СОКС равно нулю. Если SNMP-трапов получено не было, то единице.

Градуировка тестов - это такой подбор пороговых значений, чтобы каждому нулевому значению СОКС соответствовал красный цвет светофора метрики, характеризующей скорость сети. Если большинство нулевых значений СОКС попали в красную зону значений скорости сети, то пороговые значения подобраны правильно. Если это не удается сделать, то это означает одно из трех. Либо пока неправильно заданы пороговые значения, и нужно продолжить подбор. Либо неправильно выбрана сетевая операция, скорость которой измеряется тестом. Либо проблема находится вне ИТ-Инфраструктуры, например, это дефект самого приложения. В последнем случае вместо скорости работы сети нужно найти метрику, характеризующую работу приложения и коррелирующую с жалобами пользователей. Это может быть, например, число одновременно работающих пользователей или запуск определенной хранимой процедуры на сервере.

Подбор пороговых значений можно автоматизировать, но для этого требуются специальный инструментарий, который не входит в состав бесплатного продукта QuTester Plus. Подробнее о технологии подбора пороговых значений можно прочесть в документе: "Найти Точку Опоры".

наверх