Изложенный материал может быть интересен тем, кто уже хорошо разобрался с APDEX-ом и хотел бы изучить другие методики оценки производительности.
Происхождение и состав методики
OPNET Technologies, Inc– один из ведущих мировых поставщиков решений для управления приложениями и сетевой производительностью. Капитализация (суммарная стоимость акций) этой фирмы в 2012 году составила 1 млрд. $ ([1]). Конечно, миллиардом долларов сейчас никого не удивишь, но большинство фирм, которые занимаются оценкой производитеьности, — это очень маленькие региональные фирмы. На их фоне OPNET выглядит гигантом.
В 2011 году два сотрудника OPNET – Алан Кохен и Юпинг Динг (Alain J. Cohen, Yiping Ding) – подали заявку на патент «Оценка производительности приложений с операционным индексом». В 2013 году методика была запатентована ([2]). Название OPDEX представляет собой сокращение от Operational Index.
Патент [2] включает в себя примеры использования методики для информационных систем различной архитектуры, последовательность действий при расчете интегральной оценки, формулу расчета операционного индекса, формулу учета весовых коэффициентов для расчета оценки по нескольким приложениям и некоторые другие аспекты.
Сначала рассмотрим элементы методики, которые перекликаются с APDEX-ом.
Расчет операционного индекса
Как и в случае с APDEX-ом, исходными данными для расчета OPDEX-а являются замеры производительности системы. Здесь их обозначили yi. Также вводится пороговое значение T. В рамках описываемой методики этот порог называется мягким (soft threshold).
Дальше начинаются отличия от APDEX-а. Вводится жесткий порог (hard threshold), который обозначается буквой Z. Жесткий порог не обязательно равен 4*T, как в APDEX-е.
Количество замеров производительности, которые попали в диапазон от 0 до T, обозначили n1, от T до Z – n2, больше Z – n3. Еще в формуле расчета используется коэффициент C (от 0 до 1) и степень n.
Главное отличие от APDEX-а состоит в учете замеров производительности yi, чьи значения находятся в диапазоне от T до Z. В APDEX-е они берутся с коэффициентом 1/2, а здесь их вклад в формулу определяется графиками:
или формулой:
Формула расчета OPDEX-а:
В окончательном виде:
Для сравнения формула APDEX-а в тех же обозначениях:
Этапы методики OPDEX
Последовательность действий, которые выполняются в рамках этой методики, аналогичны APDEX-у:
1. Выбор значения мягкого порога T.
2. Выбор значения жесткого порога Z.
3. Сбор замеров производительности (времен отклика).
4. Расчет значений OPDEX.
5. Формирование итогового отчета.
Эти этапы на схеме:
Схема использования методики для информационной системы с элементарной архитектурой:
На схеме: APP SERVER — сервер приложений, DB SERVER — сервер базы данных, CLIENT — клиентское приложение, COLLECTOR — программа сбора замеров производительности (времен отклика), MONITORING DATABASE — база данных мониторинга (в ней хранятся замеры производительности), MONITORING SERVER — сервер приложений мониторинга, MONITORING CLIENT — клиентское приложение, осуществляющее мониторинг (в нем можно просматривать замеры производительности и результаты расчета OPDEX), OPdex Score — конечный результат использования методики, значение индекса OPDEX.
Источники
1. Riverbed to Acquire OPNET Technologies, Inc. — http://www.riverbed.com/about/news-articles/press-releases/riverbed-to-acquire-opnet-technologies-inc.html.
2. Assessing application performance with an operational index. — http://www.google.com/patents/US20130036122
Считаю тема не до конца раскрыта.
В чем преимущества и недостатки?
Какое предназначение коэффициента С и вознесение в степень?
Составляющие формулы в скобках не очень понятно расписаны, складывается впечатление что OPDEX может быть больше единицы.
(1) pbazeliuk,
Моя цель — проинформировать коллег о существовании этой методики.
Я сознательно воздержался от оценок и слишком подробного описания.
Статья не про преимущества и недостатки, а про то, что OPDEX есть.
А потом преимущества и недостатки по отношению к чему? Только к APDEX-у? Это не интересно.
Сравнительный анализ нескольких (возможно, многих) методик — это тема отдельной статьи.
Еще недавно я не знал ни одной другой методики оценки производительности, кроме APDEX-а. Это не правильно. Борюсь с этой проблемой по мере сил…
Про OPDEX до сих пор не слышал
Автор молодец откопал
(1) pbazeliuk, разработчикипатента считают что больше 1 не будет (график)
Очень любопытно. Но всё же достаточно похоже на APDEX. Тем не менее, тема заинтересовала начал искать в интернете какие ещё есть методики… но так ничего и не нашёл. Кто знает, хотя бы названия иных методик оценки производительности — подскажите?
Наверное в мире статистики должны быть другие методики оценки функции достижимости результата, но я со статистикой всегда был не в ладах 🙁