Этап III. На этом этапе члены экспертной группы (групп) выражают свои суждения в соответствии с установленными на втором этапе методами, способами и процедурами. Как правило, оценка осуществляется на основании заданной шкалы порядка: ранжированной (рейтинговой), в которой определяется место данного свойства (или оцениваемого образца среди других), или балльной.
Основными характеристиками балльной шкалы являются ее диапазон и количество градаций, которое включает шкала. Градации задаются исходя из требуемой точности результата, характера решаемой задачи, возможностей качественного описания количественных градаций с учетом опыта по оценке качества аналогичной продукции.
Для экспертного оценивания качества продукции, как правило, используются шкалы с нечетным числом градаций, в которых имеется средний уровень. Шкала может быть центрированной или смещенной. Наиболее предпочтительными являются шкалы с пятью и семью градациями качества по оцениваемому свойству, причем количество градаций может совпадать или не совпадать с количеством баллов (например, одной градации будут соответствовать 20 баллов).
Этап IV. На этом заключительном этапе работы экспертной комиссии осуществляется обработка экспертных суждений и оформляется экспертное заключение. Это наименее трудоемкий этап, но очень важный. В ходе обработки экспертных суждений обычно применяется аппарат математической статистики. Одним из наиболее часто применяемых способов обработки является вычисление среднего балла или средневзвешенного показателя. Средний балл определяется по формуле:
где n – количество экспертов;
bi – балл, выставленный i-м экспертом.
Определение средневзвешенного показателя предполагает дополнительное определение и учет коэффициентов весомости данного свойства. В этом случае эксперты должны определить важность ("вес") этого признака, степень желательности его учета при оценке качества продукции. Это может быть выполнено как через ранжирование (при небольшом числе признаков), так и в виде балльной оценки. В обоих случаях результаты приводятся к весовым коэффициентам, сумма которых по всем показателям должна быть равна I.
В целом для обработки результатов и оценки уровня качества продукции могут использоваться различные методы, однако в основном применяют дифференциальный и комплексный методы.
Дифференциальный метод оценки заключается в том, что значения показателей оцениваемой продукции сравниваются с базовыми. Для общего сопоставления вычисляются относительные показатели качества продукции как результат деления оцениваемого показателя на базовый (или наоборот).
Комплексный метод имеет несколько разновидностей: метод главного показателя (при обработке определяется главный показатель, который в дальнейшем и считается определяющим качество продукции в целом), метод средневзвешенного показателя (см. выше) и метод интегрального показателя. В последнем случае используется интегральный (чаще всего – технико-экономический) показатель качества, базирующийся на сравнении суммарного полезного эффекта от применения продукции с суммарными затратами на разработку и эксплуатацию (или обеспечение потребления) продукции.
В итоге работы экспертная комиссия формирует экспертное заключение – оценку уровня качества продукции в целом или в отдельных аспектах. Она представляется в количественной или качественной форме. В количественной форме оценка выражается одним числом, которое рассматривается как значение комплексного показателя качества продукции. В качественной форме она излагается в виде утверждения о том, соответствует ли в целом продукция по рассматриваемой совокупности свойств уровню требований определенного рынка, превосходит или уступает им. Кроме того, формулируются рекомендации по основным направлениям повышения качества данного вида продукции.
Результаты оценки уровня качества, а также конкурентоспособности объектов оценивания (технологических систем, продукции, услуг, интеллектуальных продуктов) используются для решения задач управления качеством (quality management) в целях, например:
• маркетинга, изучения рынков сбыта продукции;
• формирования предложений по экспорту и импорту продукции;
• выбора поставщиков сырья, материалов и комплектующих изделий;
• обоснования требований, закладываемых в техническое задание (ТЗ) на разработку продукции и нормативную документацию;
• выбора варианта при разработке новой или модернизируемой продукции;
• принятия решения о постановке продукции на производство;
• обоснования целесообразности замены или снятия продукции с производства;
• обоснования целесообразности добровольной сертификации продукции и др.
Вернемся, однако, к методу экспертных оценок с точки зрения оценивания качества банкнот и рассмотрим, как он применяется на практике.
Практический подход к оцениванию качества банкнот. Экспертное оценивание качества банкнотной продукции осуществляется согласно методике в четыре этапа.
Этап I. Заказчик (международная конференция, государственный орган, банк или печатный двор) формулирует цели оценки (например, создание международной системы стандартизированных показателей, оценка уже существующих банкнот или разработка новой серии, выход на новые рынки и т. д.) и создает экспертную комиссию.
Представляется, что в состав экспертной комиссии должны войти различные экспертные группы: банковские эксперты/кассиры, печатники и эксперты-криминалисты. Возможно также привлечение и других целевых групп (кассиры магазинов, розничные торговцы, пожилые люди и т. д.).
Этап II. Рабочая группа осуществляет выбор методов, способов и процедур оценивания. Учитываются особенности оцениваемой продукции (бумага, краски, OVD, защитная нить, способы печати и т. д.), установленные сроки выполнения работы, ее трудоемкость, области возможного использования полученных результатов, а также определяется перечень операций, которые должны быть выполнены экспертами. Для проведения опроса экспертов рабочая группа составляет анкету, состоящую из пояснительной записки и карты опроса.
Этап III. Члены экспертной группы выражают свои суждения в соответствии с установленными на втором этапе методами, способами и процедурами, исходя из основной задачи опроса.
Этап IV. Осуществляется обработка экспертных суждений и оформляется экспертное заключение.
В результате работы на этапе II комиссия получает набор показателей, характеризующих сложно формализуемые свойства банкнот (например, применяемые при изготовлении виды водяных знаков, тип защитной нити, краски и др.). Каждый показатель может, в свою очередь, разбиваться на составляющие.
Оценка каждой составляющей выполняется экспертами на этапе III, например по пятибалльной шкале с точностью до десятых долей (высшая оценка – 5,0). Кроме того, эксперты определяют условный коэффициент (важность или "вес") каждой составляющей в сотых долях (сумма должна равняться 1), поскольку наиболее часто применяемым при экспертных оценках является метод средневзвешенного показателя.
По итогам третьего этапа рабочая группа получает заполненные анкеты, в которых выставлены баллы по каждому показателю и определены коэффициенты важности ("веса") этого показателя.
На этапе IV рабочая группа обрабатывает результаты опроса экспертов, определяя средневзвешенный показатель качества банкнот Q j для каждого j-го эксперта:
где mnj – коэффициент веса n-го показателя, причем
;
qnj – балл j-го эксперта по данному n-му показателю;
N – количество оцениваемых показателей.
Далее определяется общий средневзвешенный показатель качества Q как среднее арифметическое оценок экспертов:
где J – количество экспертов.
В случае не одной, а нескольких (L) экспертных групп формула незначительно усложняется. Впрочем, в этом случае целесообразно использовать коэффициенты веса с учетом мнения каждой группы. Тогда:
с учетом предыдущей формулы: