Очень важной составляющей в совершенствовании КУИОТ является оценка ИСТ. В решении задач оценки ИСТ туризма могут быть применены эвристический, экспертный и аналитический подходы. Они базируются на измерительном, расчётном, наукометрическом и социологическом способах получения значений показателей качества. Наиболее адекватным и перспективным в задачах оценки ИОТ представляется расчётно-аналитический метод [27]. Здесь состав и значения показателей определяются путём непосредственного, прямого наблюдения, регистрации и измерения состояния реально функционирующего объекта – ИСТ. Оценка выполняется на основе набора показателей, которые по агрегированию отображаемых свойств ИСТ образуют иерархическую систему показателей.

Опорным понятием в оценке ИОТ является показатель. В методологии оценки доминирующей задачей является определение системы показателей оценки ИОТ. На этой базе проводится последующие расчёт значений показателей и комплексная оценка как отдельных этапов (участков), так и ИСТ в целом. Важным этапом в оценке является получение значений единичных фактических показателей, так как на основе указанных значений определяются значения других показателей, привлекаемых для оценки. Наиболее трудной задачей является определение адекватных первичных показателей, которые бы обладали способностью отражения не только содержания свойств ИСТ, но также и проявления интенсивности и масштабности этих свойств. Наиболее рациональным определение показателей представляется в нашем случае путём прямого наблюдения и регистрации дефектов по этапам, участкам, устройствам функционирующей ИСТ. С учётом сравнительно больших объёмов обрабатываемой информации в ИСТ регистрацию дефектов целесообразно выполнить выборочным методом. Эффективность регистрации дефектов и последующее решение задачи определяется регламентом, например, методикой заполнения «Ведомости выявленных дефектов ИСТ» [26]. Состав показателей может быть определён путём устранения неоднородности статистической структуры дефектов, например, посредством кластер-анализа, дискриминантного анализа и др.

Оценку ИОТ вообще и конкретной ИСТ в частности следует проводить с учётом содержания управления бизнес-процессами туризма, его экономическими и функциональными особенностями. Вместе с тем целесообразно определить и собственные принципы оценки ИСТ:

1. Обоснованность оценки ИСТ. Оценка выполняется только для такой ИСТ, которая способна выполнять полезные функции в соответствии с её назначением. Если ИСТ не соответствует основным требованиям, например, её продукция никем не востребована, или она не отвечает требованиям пользователей, то оценка ИСТ становится проблематичной.

2. Системность оценки. Оценка производится не отдельным показателем, а посредством системы показателей. Система показателей имеет свойство иерархичности. Показатель любого уровня обобщения определяется соответствующими показателями предшествующего иерархического уровня. Самым низким иерархическим уровнем показателей следует понимать единичные показатели. Более высокие иерархические уровни составляют групповые, интегральные, обобщённые и комплексные показатели.

3. Унифицированность единиц измерения ИСТ. При оценке двух и более ИСТ все разноразмерные показатели должны быть преобразованы и выражены в унифицированных системных единицах измерения.

4. Обязательность определения весомости показателя. При определении значения обобщённого показателя важность каждого показателя, влияющего на значение указанного показателя, должна быть отображена коэффициентом его весомости (значимости), например, в модели линейной регрессии, отображающей и реализующей расчёт значения производительности ИСТ.

5. Определённость суммы значений коэффициентов весомости. Сумма численных значений коэффициентов весомости всех показателей качества на иерархических ступенях оценки имеет одинаковое значение, например 1, или 100%.

6. Учёт эмерджентности в оценке ИСТ. Системные характеристики ИСТ обусловлены свойствами её составных частей. При рассмотрении ИСТ в целом соблюдается условие её эмерджентности, то есть на этапе синтеза ИСТ формируются её новые свойства, которые не принадлежат ни одному из элементов ИСТ в отдельности.

7. Устранение дублирующих показателей ИСТ. При количественной оценке, особенно по комплексному показателю ИСТ, недопустимо использование дублирующих показателей одного и того же свойства.

8. Обязательность эталона для оценки ИСТ. Квалиметрия ИСТ и её продукции не может быть выполнена без наличия эталона ИСТ, как компонента относительной оценки. В роли эталона ИСТ может быть принята идеальная (совершенная) ИСТ по аналогии с совершенной моделью управления ИОТ. Относительная величина значений показателя определяется путём отношения фактического значения показателя к его базовому значению.

9. Приоритет заказчика в оценке качества ИСТ. В задачах практической оценки ИСТ и её продукции приоритет в выборе определяющих показателей остаётся за рациональным потребителем (турфирмой), а не за разработчиком ИСТ. В силу того, что полезный эффект от ИСТ достигается при её эксплуатации, то при оценке ИСТ преимущественно используются показатели потребителя. Эти показатели отражают способность ИСТ соответствовать своему назначению.

10. Достоверность оценки ИСТ. Оценка ИОТ обязана давать практике обоснованные и полезные методы достоверной квалифицированной и количественной оценки различных классов ИСТ. В отношении оценки информационной продукции проблема состоит в том, что у потребителей и производителей турпродукции интересы существенно различаются. Турфирма не всегда заинтересована и часто не может создавать информационную продукцию нужного качества, а продавать турпродукт она стремится по наиболее высокой цене. Турист заинтересован в недорогой турпродукции, но вместе с тем хорошего качества. Поэтому указанные подходы к оценке продукции могут быть разными. Методы и средства оценки УИОТ должны обеспечивать достоверность оценки, отвечать методологическим принципам УИОТ, учитывать общественные интересы, гармонизировать интересы потребителей и производителей.

11. Универсальность оцениваемых свойств. В контексте маркетинга в квалиметрии ИСТ приоритетным является определение потребительских свойств ИСТ не отдельным потребителем, а группой потребителей. Существуют универсальные и специфические свойства ИСТ. Объективно присутствует условие универсальности потребительских свойств, которое проявляется в наличии специалистов с пересекающимися требованиями к ИСТ. Следует учитывать интересы отдельного заказчика с его индивидуальными требованиями к ИСТ и её компонентам, например, к программному обеспечению.

12. Ограниченность состава свойств ИСТ. В методологическом аспекте невозможно выявить абсолютно полный состав свойств, а, следовательно, и состав показателей УИОТ. Речь может идти об относительно полном наборе показателей оценки ИСТ. В практической задаче оценки ИОТ количественная оценка осуществляется по редуцированному ряду наиболее значимых, определяющих, репрезентативных показателей. Редукция и достаточность состава показателей определяется условиями решения конкретной задачи оценки ИОТ.

13. Оценка ИОТ базируется, в основном, на измерении количественных показателей. Квантификация свойств ИСТ происходит путём придания числовой формы интенсивности проявления свойств, как отдельных компонентов ИСТ, так и ИСТ в целом.

Вышеперечисленные методологические принципы оценки ИОТ не исчерпывают всех концептуальных положений этой задачи. Однако они являются основополагающими при решении общих и частных вопросов, связанных с методами оценки ИОТ.

Одним из сложных вопросов оценки является проведение сопоставительного анализа объективных свойств различных ИСТ туризма и субъективных во многом потребностей отдельных специалистов и их групп. Очевидно, что значительной категорией оценки ИОТ является понятие о потребностях специалистов в определённых свойствах ИСТ и её продукции и о количественной оценке этих потребностей. Потребность в информационной продукции туризма требуемого уровня – это то, что испытывают специалисты для решения своих профессиональных задач. Эти потребности конкретны и имеют свои границы.