Значения интегральных показателей могут быть определены как средневзвешенные величины. Эти величины принимаются соответственно по единичным, групповым, базовым, относительным показателям. Значения показателей могут быть просчитаны как по отдельным этапам, так и по ИСТ в целом. Значения групповых показателей могут быть взяты по набору единичных показателей, входящих в систему показателей, принятых в целом для ИСТ. Таким образом, эти групповые показатели будут отображать как иерархичность, так и многосвязность свойств оцениваемых ИСТ.
Значения обобщённых показателей по своей природе зависят от соответствующих фактических значений единичных и (или) групповых показателей, то есть находятся в причинно-следственной связи. С учётом содержания таких обобщённых показателей как, например, производительность технологического процесса ИСТ и себестоимость обработки информации можно сказать, что они взаимосвязаны и в значительной мере зависят от дефектов обработки. Определить значения производительности и себестоимости можно путём установления функциональной зависимости между значениями обобщённых показателей, с одной стороны, и значениями показателей, формируемых с учётом дефектов обработки по достоверности, полноте, своевременности, с другой. Априори можно предположить, что указанная зависимость может существовать в форме закономерности. Это должно быть подтверждено экспериментально. В работах по совершенствованию ИСТ необходимо, в частности, решать задачи управления и прогнозирования значений показателей при определённых условиях. Тогда становится необходимым определение значимости или «веса» каждого класса дефектов, которые при измерении могут быть обозначены как переменные величины в указанной выше функциональной зависимости, или закономерности.
Определить значения обобщённых показателей и коэффициентов весомости по каждой переменной можно на основе регрессионного анализа. При этом необходимый для этого учёт изменения значений переменных можно принять равным 1%. В нашем случае коэффициенты весомости могут быть определены, как коэффициенты регрессии принятых переменных по достоверности, полноте, своевременности и др. Свободные члены регрессионных уравнений будут показывать базовые значения обобщённых показателей.
Для выполнения регрессионного анализа и построения уравнения необходимо получить исходные данные по зависимости, которые можно задать в виде матриц фиксированных данных, например, по производительности и себестоимости. Сравнительно трудоёмкий процесс решения уравнений, получения коэффициентов весомости можно и целесообразно выполнить путём применения ЭВМ и соответствующих программ регрессионного анализа.
Измерение значений обобщённых показателей выполняется в натуральных и стоимостных единицах. Исходя из существа оценки ИСТ, производительность последней можно измерить в документо-днях, а себестоимость обработки одного документа в рублях, хотя в принципе возможно измерение в шкалах другой градации. При измерении относительных значений обобщённых показателей необходимо учитывать прямые и обратные функциональные зависимости значений обобщённых показателей, в частности производительности ИСТ и себестоимости обработки единицы информации (файла, документа и др.). С учётом принятого условия измерения можно определить «относительный показатель производительности ИСТ – это отношение фактического значения производительности ИСТ к его базовому значению». При улучшении ИСТ значение относительного показателя в общем случае будет стремиться к 1, то есть имеется прямофункциональная зависимость. Однако показатель себестоимости при улучшении будет направлен к нулю, так как имеет обратно-функциональную зависимость. С учётом принципа унификации количественных значений показателей и принятой нами шкалы целесообразно измерять относительный уровень себестоимости как отношение базового значения к фактическому значению.
Значительную роль в системе показателей оценки играют комплексные показатели. Как указано ранее они обладают свойствами иерархичности, агрегируемости и многосвязности. Они должны отвечать таким требованиям:
1. Репрезентативность – отображение в комплексном показателе всех основных характеристик ИСТ, по которым оценивается ИСТ.
2. Монотонность изменения комплексного показателя ИСТ при изменении любого из единичных показателей при фиксированных значениях остальных показателей.
3. Чувствительность к варьируемым параметрам ИСТ. Это требование состоит в том, что комплексный показатель должен согласованно реагировать на изменение каждого из единичных показателей. Комплексный показатель является функцией оценок всех единичных показателей, а его чувствительность определяется первой производной этой функции. Значение комплексного показателя должно быть особенно чувствительно в тех случаях, когда какой-либо единичный показатель выходит за допустимые пределы. При этом комплексный показатель должен адекватно уменьшать своё численное значение.
4. Нормированность – численное значение комплексного показателя находится между наибольшим и наименьшим значениями относительных комплексных показателей. Это требование нормировочного характера предопределяет размах шкалы измерений комплексного показателя.
5. Сравнительность результатов комплексной оценки обеспечивается одинаковостью методов их расчётов, в которых единичные показатели должны быть выражены в удельных величинах.
В принципиальном отношении методы оценки различных объектов, используемые в прикладных разделах квалиметрии, практически одинаковы. В тривиальной форме оценка ИСТ может быть выполнена по трём основным уровням: выше требований, соответствует требованиям, ниже требований. В практике управления ИСТ оценка выполняется на основе квантификации свойств ИСТ [18]. Каждое свойство может быть представлено в форме показателя, значение которого представляется в цифровой форме. На основе сопоставительного анализа определяется уровень соответствия ИСТ требованиям, которым ИСТ должна удовлетворять. Можно принять, что «оценка информационной системы – это реализация комплекса процессов, методов и средств по определению уровня соответствия информационной системы установленным требованиям».
В общем случае в КУИОТ необходимо стремиться к достижению наивысшего, то есть идеального значения показателя, которое возможно в заданных условиях функционирования каждой конкретной ИСТ. Для обеспечения сравнительности значений определённых групп показателей наиболее целесообразным является использование унифицированной шкалы, когда значение показателя Ρ будет находиться в пределах от 0 до 1, то есть 0 ≤ Р ≤ 1. Допустим, что при Ρ = 1 ИСТ будет находиться в идеальном, требуемом состоянии, то есть в нужной области фазового пространства. В противном случае (Р = 0) ИСТ теряет соответствующее свойство, выходит из требуемой области фазового пространства, переходит в другое качественное состояние и возможно перестаёт быть ИСТ как таковой. Возможность наивысшего (базового) значения показателя можно предположить на завершающем этапе технологии ИСТ, когда под воздействием КС УИСТ значения показателей улучшаются от этапа к этапу.
По результатам измерения и оценки необходимо провести анализ ИОТ (рис. 3.2). Анализ представляет собой сложный процесс, предусматривающий изучение результатов оценки, факторов, влияющих на уровень ИОТ, выявление «узких» участков ИСТ, причин дефектов и др. Например, полученные значения показателей ИСТ для дальнейшего использования целесообразно записать в специальную форму – «Карту анализа и оценки ИСТ» [26]. Анализ и оценка ИС от начальных условий до выходных координат выполняется путём изучения значений комплекса показателей по схеме «от общего к частному», то есть от обобщённых показателей до единичных. В результате такого анализа необходимо определить состояние ИСТ, установить участки ИСТ, наиболее подверженные воздействию факторов условий, снижающих уровень качества ИСТ. Анализ состава и направленности действия факторов позволяет определить конкретные меры по улучшению ИСТ.
