Исходя из жизненного цикла ИСТ, оценка ИСТ может быть выполнена на этапе её проектирования, на этапе её построения и на этапе её эксплуатации [26,64]. Кроме того, оценка ИСТ может быть выполнена и на этапе выбора лучшего варианта среди других объектов подобного класса. Определить количественную значимость оценки по всем фазам жизненного цикла в настоящее время представляется проблематичным. В настоящее время пока не созданы методические средства, обеспечивающие адекватную оценку вышеуказанной значимости. Вместе с тем, в практическом отношении чаще всего занимаются оценкой ИСТ на этапе её эксплуатации, то есть выполняется оценка реально функционирующей ИСТ, так как фаза эксплуатации ИСТ является наиболее прагматичной и длительной в жизненном цикле ИСТ. Прагматичность в данном контексте состоит в улучшении экономических показателей, например, себестоимости продукции ИСТ, минимизации сроков окупаемости ИСТ, возврата заёмный средств банку, взятых турфирмой у банка на создание ИСТ.

На основе вышеизложенного можно сформулировать основные требования, предъявляемые к методике оценки ИСТ:

1. Определение расчётно-аналитическим путём обоснованного набора показателей ИСТ, измеряемых в количественной форме, с возможностью применения ЭВМ в решении задачи.

2. Объективность оценки уровня ИСТ и определение степени соответствия ИОТ установленным требованиям.

3. Сопоставимость значений показателей ИСТ, как по периоду времени эксплуатации отдельной ИСТ, так и нескольких ИСТ определённого класса между собой.

4. Возможность выбора предпочтительного варианта ИСТ в соответствии с заданными критериями оценки.

5. Установление обоснованного подхода к разработке требований к модернизации эксплуатируемых и в определённой мере будущих (проектируемых) ИСТ.

6. Выявление и анализ факторов, влияющих на уровень качества ИСТ.

7. Обеспечение разработки организационно-технических и информационно-технологических мероприятий в решении задач КУИОТ.

Объектом нашего рассмотрения, в основном, является оценка ИСТ на фазе её эксплуатации. В оценке ИОТ наиболее адекватным представляется расчётно-аналитический подход, базирующийся на измерительном и расчётном способах получения показателей ИСТ [27]. При расчётно-аналитическом методе состав и значения показателей формируются по результатам непосредственного, прямого наблюдения, регистрации и измерения состояния реально функционирующего объекта, то есть ИСТ. С учётом вышеуказанных принципов и требований к оценке рассмотрим порядок применения аналитического метода оценки ИОТ в аспекте функционирования системы КУИОТ.

В результате измерения ИОТ должен быть получен набор числовых величин, характеризующих ИОТ, например, количество искажений (ошибок) в значениях обрабатываемых документов на этапе ввода данных в ЭВМ, стоимость обработки информации по элементарной акции, например «запрос-ответ» и др. Значения характеристик определяются с учётом параметрических и функциональных свойств контролируемой ИСТ. Параметры всегда находятся в рамках определённой измерительной шкалы. Тип шкалы выбирается в зависимости от состава и содержания задачи оценки.

При оценке ИСТ следует учитывать, что она всегда предназначена для применения в различных формах, в частности, для реализации как товар. При купле-продаже ИСТ выступает как предопределяющий фактор рыночного процесса и практической экономики ИСТ. В состав этой экономики включены проектирование, продажа и эксплуатация ИСТ, в том числе ЭВМ, программное обеспечение и др. Оценка ИОТ проводится для решения следующих основных задач:

• обеспечения и управления ИСТ и её продукции;

• аттестации ИСТ и её компонентов;

• выбора наилучшего варианта ИСТ;

• контроля качества;

• анализа изменения уровня ИСТ;

• планирования оргтехмероприятий по улучшению ИОТ и др.

Перед оценкой ИОТ устанавливают цель определения уровня ИСТ. Цель предопределяет метод аналитической оценки ИОТ. При этом первоначально классифицируют оцениваемую ИСТ. Примером аналитической оценки может быть редуцированная классификация свойств ИСТ (таблица 3.8).

Важным этапом в аналитической оценке ИОТ является рассмотрение результатов функционирования ИСТ. К основной форме результата ИСТ относятся различные категории информационной продукции и услуг (таблица 3.10). Продукция и услуги ИСТ в определённых условиях предоставляются на рынок для получения прибыли от эксплуатации ИСТ. Таким образом, информационную продукцию и услуги в принципе можно идентифицировать как информационный товар с разнообразными содержанием и формами [42]. Товар проходит систему производства, распределения, обмена и потребления.

Разумеется, данная классификация не отображает полного состава свойств, характеризующих продукцию и услуги ИСТ. Каждый из этих свойств может быть детализирован в отдельную ветвь классификационного дерева. Имеется связь между деревом классификации информационной продукции и «деревом целей» системы КУИОТ. Указанные в таблице классы формируются, в основном, через выделение свойств, которые присущи информации, составляющей содержательную часть информационной продукции. При этом каждая единица продукции является носителем кортежа свойств (признаков) соответствующих классов. Например, документ может обладать признаками аналитического обзора туристского рынка консультационной фирмы, выполняемого по заказу туроператора, который представлен несвоевременно, содержит информацию по неполному составу реквизитов обзора и т. д.

Очень важно в решении задач КУИОТ в процессе выделения свойств информационной продукции провести идентификацию информационного продукта как источника информации [16], например, буклета или экспоната турфирмы в информационно-выставочной системе, термина в глоссарии, структуры отображения источника туристской информации и др. Это существенно улучшает структурированность источника, его информативность, прагматику и повышает тем самым конкурентоспособность для определённых классов ИСТ и турпродукции в целом. Для обеспечения этих условий документ, как продукт функционирования ИСТ, должен иметь следующие структурные компоненты:

1. Определение понятия рассматриваемого вида документа.

2. Классификацию вида документа.

3. Определение назначения документа (цель, задачи, функции).

4. Описание структуры документа.

5. Описание технологии получения (обработки) документа.

6. Характеристику электронных баз данных, массивов, архивов, хранилищ рассматриваемого вида документа.

7. Характеристику (оценку) сравнительной эффективности документа в общей структуре документации и информации турфирмы.

Проведённая идентификация относительно структуры документа позволяет существенно улучшить процесс отображения и коммуникации в системе информационных ресурсов в сфере туризма, образования, науки. Выбор определяющих признаков для классификации информационной продукции с целью выделения свойств и определения этапов её оценки является задачей КУИОТ.

Оценка ИОТ состоит из следующих основных этапов:

1. Определение цели оценки ИОТ.

2. Определение набора показателей оцениваемой ИСТ и базового варианта ИСТ, обоснование репрезентативности набора показателей.

3. Выбор или разработка способов расчёта (составление формул) значений показателей ИСТ.

4. Выбор и определение базовых значений показателей, и поиск исходных данных для расчёта фактических значений показателей оцениваемой ИСТ.

5. Расчёт фактических значений показателей ИСТ и их сопоставление с базовыми значениями.

6. Оценка уровня функционирования ИСТ.

В основе оценки функционирования ИСТ лежит система показателей. Эту систему можно представить в виде классификационного поля (табл. 3.11).