Теоретические основы обеспечения единства экспертных измерений: Монография

Д.Н. Хамханова

ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ОБЕСПЕЧЕНИЯ ЕДИНСТВА ЭКСПЕРТНЫХ ИЗМЕРЕНИЙ

Улан-Удэ Издательство ВСГТУ 2006

ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ Государственное образовательное учреждение высшего профессионального образования «Восточно-Сибирский государственный технологический университет» (ГОУ ВПО ВСГТУ)

Д.Н. Хамханова

ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ОБЕСПЕЧЕНИЯ ЕДИНСТВА ЭКСПЕРТНЫХ ИЗМЕРЕНИЙ

Улан-Удэ Издательство ВСГТУ 2006

УДК 658.562 ББК 30.607

Хамханова Д. Н. Х 188 Теоретические основы обеспечения единства экспертных измерений. Улан-Удэ: Изд-во ВСГТУ, 2006. – 170 с. Рецензенты д.т.н., проф. Г. Ц. Цыбикова к.т.н. В.М. Станякин В монографии обобщены методы экспертных измерений, приведена классификация экспертных измерений, разработаны основы планирования экспертных измерений при оценке количественных значений показателей качества и при оценке принадлежности объекта к классу эквивалентности, а также определены методы выбора оптимальной номенклатуры измеряемых показателей качества и критерии принятия решений при оценке качества. Исследованы алгоритмы обработки квалиметрической информации: определения весовых коэффициентов, уточнения весовых коэффициентов, комплексирования показателей качества. Сформулированы выводы о качестве алгоритмов.

ББК 30.607  Д.Н. Хамханова  ВСГТУ, 2006

СОДЕРЖАНИЕ

Введение ………………………………………………………………... 1 Экспертные измерения ……………………………………………. 1.1 Методы экспертных измерений 1.2 Виды экспертных измерений. Классификация многократных экспертных измерений 2 Основы планирования экспертных измерений 2.1 Постановка задачи планирования экспертных измерений 2.2 Планирование экспертных измерений при оценке количественных значений показателей качества 2.3 Планирование экспертных измерений при оценке принадлежности объекта к классу эквивалентности 2.4 Выбор оптимальной номенклатуры измеряемых показателей качества 2.4.1 Дисперсионный анализ 2.4.1.1 Дисперсионный анализ с однократным наблюдением 2.4.1.2 Дисперсионный анализ с многократным наблюдением 2.4.1.3 Неполноблочные планы 2.4.2 Априорное ранжирование показателей (факторов) 2.4.3 Корреляционный анализ 2.5 Алгоритмы обработки квалиметрической информации 2.5.1 Алгоритм обработки квалиметрической информации при однократных экспертных измерениях 2.5.2 Алгоритм обработки квалиметрической информации, полученной путем многократных экспертных измерений с равноточными значениями показания 2.5.3 Алгоритм обработки квалиметрической информации, полученной путем многократных экспертных измерений с неравноточными значениями показания 2.5.4 Алгоритм обработки квалиметрической информации при парном методе и методе Н 2.5.5 Алгоритм обработки квалиметрической информации при определении комплексного показателя качества 2.6 Проверка правильности принятия решений 2.6.1 Выбор критериев принятия решений при определении количественных значений показателей качества 2.6.2 Выбор критериев принятия решений при оценке эквивалентности объекта к классу эквивалентности 3 Аттестация алгоритмов обработки квалиметрической информации 3.1 Постановка задачи аттестации алгоритмов обработки квалиметрической информации

5 13 13 18 21 21 22 24 25 26 26 29 31 38 41 43 43 45 48 49 50 60 60 68 74 74

3.2 Показатели качества алгоритмов обработки квалиметрической информации 3.3 Аттестация алгоритмов определения весовых коэффициентов 3.3.1 Номенклатура показателей качества алгоритмов определения весовых коэффициентов 3.3.2 Исследование показателей качества алгоритмов определения весовых коэффициентов 3.3.2.1 Исследование показателей устойчивости к изменениям мнений экспертов на противоположное 3.3.2.2 Исследование показателей чувствительности к приращениям мнений экспертов 3.3.2.3 Исследование показателей чувствительности к приращениям согласованности мнений экспертов 3.3.2.4 Исследование показателей эффективности 3.3.2.5 Сравнительный анализ алгоритмов определения весовых коэффициентов 3.4 Аттестация алгоритмов уточнения весовых коэффициентов 3.4.1 Номенклатура показателей качества алгоритмов уточнений 3.4.2 Исследование показателей качества весовых коэффициентов 3.4.3 Сравнительный анализ алгоритмов уточнения весовых коэффициентов 3.5 Аттестация алгоритмов комплексирования показателей качества 3.5.1 Номенклатура показателей качества алгоритмов комплексирования 3.5.2 Исследование показателей качества алгоритмов комплексирования 3.5.2.1 Исследование показателей устойчивости к приращениям значений единичных показателей алгоритмов комплексирования 3.5.2.2 Исследование показателей устойчивости к изменениям значений каждого из единичных показателей на противоположное алгоритма комплексирования по трехуровневой шкале 3.5.2.3 Исследование показателей чувствительности к приращениям согласованности мнений экспертов алгоритмов комплексирования 3.5.2.4 Исследование показателей чувствительности к изменениям согласованности мнений экспертов алгоритмов комплексирования 3.5.2.5 Исследование показателей эффективности алгоритмов комплексирования 3.5.2.6 Сравнительный анализ алгоритмов комплексирования Литература

77 81 82 84 85 93 98 106 109 114 116 117 119 120 121 123 123 126 130 139 140 150 158

ВВЕДЕНИЕ

В настоящее время проблема повышения качества продукции является одной из актуальных. Признание важности проблем качества на государственном уровне выражается в создании систем качества и ежегодной организации конкурсов. Так, на основе синтеза нескольких моделей национальных премий качества была создана концепция российской премии качества. При оценке качества продукции и услуг особенно велика роль экспертных методов. Они не требуют дорогостоящего оборудования, приборов, реактивов и не трудоемки по времени. Научно организованный экспертный метод измерения по чувствительности превосходит многие приемы лабораторных исследований. В ряде случаев это единственно возможный метод, позволяющий отличить высококачественный продукт от ординарного, фальсифицированный от натурального, выявить ранние признаки порчи. Однако результаты экспертных измерений в определенной степени субъективны и зависят от квалификации экспертов, порядка и условий проведения экспертиз, выбора алгоритмов обработки квалиметрической информации. В связи с чем возникает актуальная проблема обеспечения единства экспертных измерений. Закон РФ «Об обеспечении единства измерений» направлен на обеспечение единства только инструментальных измерений. Такое положение привело к тому, что в настоящее время сложилась ситуация, при которой контроль качества отдельных видов продукции экспертными методами отличается как номенклатурой показателей, так и применяемыми шкалами и системой балловой оценки. Так, например, при контроле качества хлебобулочных изделий в разных странах применяются различные шкалы и системы балловой оценки. В Венгрии применяется 100-балльная система, по которой для каждого из оцениваемых показателей установлено максимальное (от 10 до 30) и минимальное число баллов (от 5 до 16), сумма которых соответственно равна 100 и 50. Изделия, получившие ниже 50 баллов, оцениваются как

неудовлетворительные. В Германии для оценки хлебобулочных изделий используется 20-балльная шкала. Каждый показатель качества оценивают по 5-балльной шкале, а для того, чтобы общее число баллов было равно 20, используются коэффициенты, учитывающие значимость каждого показателя в формировании качества хлеба. В Польше оценка качества хлебобулочных изделий проводится по 40-балльной шкале по ряду органолептических и объективно определяемых показателей. Изделия, получившие меньше 8 баллов, считаются неудовлетворительными. В США качество изделий оценивается по совокупности ряда органолептических показателей по 100балльной шкале. В нашей стране до 1981 г. качество хлебобулочных изделий определялось по 10-балльной шкале. В 1981 году в Московском технологическом институте пищевых продуктов (МТИПП) разработана 100-балльная система оценки качества хлебобулочных изделий. В этой системе оценка каждого показателя хлебобулочных изделий проводится по 5балльной шкале, каждому баллу которой соответствует словесное описание. При этом изделия, получившие ниже 3 баллов по какому-либо показателю, считаются неудовлетворительными и дальнейшей оценке не подлежат. Для учета значимости показателей в формировании качества хлеба установлены их коэффициенты весомости, сумма которых равна 20. Общая балловая оценка качества хлеба определяется как среднее арифметическое взвешенное. По этой системе максимально возможная оценка качества хлебобулочных изделий составляет 100 баллов. Кроме того, есть и различия по номенклатуре показателей качества. Например, в Германии качество хлебобулочных изделий определяется по следующим показателям: внешний вид, свойства корки, состояние мякиша, запах и вкус. В Российской Федерации при оценке качества хлебобулочных изделий учитывают такие показатели, как форма, цвет корки, состояние поверхности, состояние мякиша, пористость, аромат и вкус. Таким образом, применяемые в Российской Федерации и в отдельных странах системы балловой оценки качества хлеба различаются как по шкалам для оценки отдельных показателей, так и по общему числу баллов, отводимых оптимальному

качеству. Имеются различия в количестве и значимости оцениваемых показателей качества. Такое состояние наблюдается не только при оценке качества хлебобулочных изделий, но и многих других видов продукции. Сегодня под обеспечением единства измерений понимается деятельность, направленная на установление научных, правовых, организационных и технических основ, правил, норм и средств, необходимых для достижения заданного уровня единства измерений. Соответственно для решения проблемы обеспечения единства экспертных измерений должны быть созданы научные, организационные, нормативные и технические основы. Безусловно, обеспечение единства экспертных измерений должно иметь научные основы. Научной основой обеспечения единства экспертных измерений является раздел метрологии – квалиметрия (наука об измерениях качества продукции). Конечно же, обеспечение единства экспертных измерений нереализуемо без математики, физики, химии и других наук. Необходимость решения данной проблемы определяется высокой народно-хозяйственной значимостью экспертных измерений, которая обусловлена следующими основными причинами: – масштабами деятельности, связанной с экспертными измерениями – у нас в стране ежедневно выполняются сотни экспертных измерений для определения качества пищевой, парфюмерной, текстильной и иной продукции и услуг; – важностью и ответственностью экспертных измерений – их результаты используются на всех этапах, на всех уровнях управления народным хозяйством и их точностью и достоверностью обусловлена эффективность, действенность всех форм управления и правильность любых принимаемых на основе этих измерений решений; – необходимостью обеспечения взаимного доверия к результатам экспертных измерений. В общей проблеме обеспечения единства экспертных измерений одними из важных задач являются: выбор оптимальной номенклатуры измеряемых показателей качества,

критериев принятия решений, алгоритмов обработки квалиметрической информации. Задача выбора оптимальной номенклатуры измеряемых показателей качества сводится к задаче выделения доминирующих показателей (факторов), влияющих на качество продукции, процесса (услуги). В теории планирования эксперимента разработаны специальные методы, которые при выполнении некоторых предпосылок позволяют выявить существенные факторы с помощью небольшого числа экспериментов и при небольших затратах вычислительного времени. Поэтому проблема выбора оптимальной номенклатуры измеряемых показателей качества сводится к анализу этих методов и возможности их применения при экспертных измерениях, а также к разработке новых методов выделения существенных показателей качества. При экспертных измерениях возникает вопрос, насколько эффективно они проводятся. Одним из возможных путей повышения эффективности экспертных методов является определение качества решений, принимаемых по результатам экспертиз. На практике по результатам комплексирования показателей качества определяется высокое качество одних объектов перед остальными. Если комплексный показатель одного объекта больше, чем комплексный показатель другого, то делается вывод о том, что качество первого выше, чем второго. Обычно на этом заканчивается обработка результатов квалиметрической информации. Можно ли считать такое решение правильным? Если значения комплексных показателей качества значительно отличаются друг от друга, то с высокой вероятностью можно сказать, что решение принято правильно, а если нет, то оно может быть как правильным, так и неправильным. Следовательно, возникает задача выбора критериев принятия решений. Критерии принятия решений зависят от вида решаемых задач. Задачами экспертных измерений являются: – определение количественных значений показателей качества;

– определение принадлежности объекта к классу эквивалентности. В свою очередь эти задачи решаются с помощью различных методов. Многообразие методов экспертных измерений обуславливает необходимость выбора критериев принятия решений по конкретному методу или по группе методов. В теории вероятности и в математической статистике разработаны различные критерии принятия решений. Для решения поставленной задачи необходимо провести анализ этих критериев с точки зрения применяемости к результатам экспертных измерений, а если нет, то возникает задача разработки новых критериев. Проблема изучения качества алгоритмов обработки экспериментальных данных впервые была поставлена И.Б. Челпановым в 1981 г. В настоящее время исследования в этом направлении активно проводятся в научно-производственном объединении «Всероссийский научно-исследовательский институт метрологии им. Д.И. Менделеева» (НПО ВНИИМ). Так, в НПО ВНИИМ им. Д.И. Менделеева проводятся научноисследовательские работы по анализу измерительных процедур и совершенствованию методов обработки экспериментальных данных при измерениях, где проблема аттестации алгоритмов рассматривается как общеметрологическая задача, которую необходимо решать с учетом опыта разработки и исследования алгоритмов в различных областях, а также опыта метрологической аттестации различных объектов (средств измерений, методик выполнения измерений, стандартных образцов и стандартных справочных данных). К настоящему времени разработаны научные основы аттестации алгоритмов, общий порядок аттестации, принципы выбора показателей качества алгоритмов и типовых моделей исходных данных при аттестации, а также методы оценивания показателей качества алгоритмов на типовых моделях исходных данных. Общая схема аттестации алгоритмов конкретизирована к отдельным группам алгоритмов: – алгоритмам обработки данных при прямых измерениях;

– алгоритмам построения функциональных зависимостей в измерительных задачах; – алгоритмам построения экстремумов сигналов в измерительных задачах. Выполнена аттестация наиболее широко распространенных алгоритмов (среднего арифметического, медианы, усеченных средних) и некоторых специальных алгоритмов (М – оценки Хубера, оценки Ходжеса-Лемана, Гаствирт, Джекела, Хогга, Андрюса, Хампела и т.д.), а также алгоритмов определения положения и значения экстремума сигнала при измерениях. В НПО ВНИИМ им. Д.И. Менделеева в рамках государственной системы обеспечения единства измерений (ГСИ) разработана методическая инструкция МИ 2174-91 «Аттестация алгоритмов и программ обработки данных при измерениях. Основные положения». Также к настоящему времени разработаны основные положения аттестации алгоритмов определения информативных параметров аналитических сигналов. Необходимо отметить, что в МИ 2174-91, несмотря на название, больше освещены вопросы аттестации алгоритмов обработки данных и в меньшей степени – вопросы аттестации их программных реализаций. Вместе с тем достоинствам этого документа является то, что это первый документ межотраслевого ранга, целиком посвященный метрологической аттестации программно-алгоритмической части измерительной процедуры. В настоящее время разработка проблемы аттестации алгоритмов ведется параллельно с проблемой аттестации их программ. Работы, связанные с проблемой аттестации программных продуктов, ведутся в Львовском научно-производственном объединении «Система» (НПО «Система»), в научнопроизводственном объединении «Всероссийский научноисследовательский институт физико-технических и радиотехнических измерений» (НПО «ВНИИФТРИ») и в НПО ВНИИМ им. Д.И. Менделеева.

По результатам проведенных работ в рамках государственной системы обеспечения единства измерений (ГСИ) и единой системы стандартов приборостроения (ЕСПП) Львовским НПО «Система» разработан ряд нормативных документов (НД) по метрологическому обеспечению информационно-измерительных систем (ИИС). Следует отметить, что работы в области метрологической аттестации программных продуктов продолжаются. Так, в 1995 г. во ВНИИФТРИ разработаны проекты двух рекомендаций, из которых одна освещает ряд положений метрологической аттестации алгоритмов и программ, реализующих генераторы образцовых тестовых сигналов, а другая посвящена вопросам метрологической аттестации программного обеспечения средств измерений с использованием компьютерных генераторов образцовых тестовых сигналов. К настоящему времени выполнена метрологическая аттестация программ обработки данных в интеллектуальных измерительных системах (ИнИС). Анализ работ, связанных с проблемой аттестации алгоритмов и программ обработки данных, показывает, что в этих работах не отражена проблема аттестации алгоритмов и программ обработки экспериментальных данных, полученных экспертным методом. Таким образом, естественно, возникает необходимость аттестации алгоритмов обработки квалиметрической информации, т.е. алгоритмов обработки экспериментальных данных, полученных экспертным методом, с учетом результатов исследовании по аттестации алгоритмов. Исследование данной проблемы становится особо актуальным в связи с широким применением экспертных методов в отраслях промышленности, занимающихся производством продовольственных товаров и товаров народного потребления (пищевая, парфюмерная, в медицине, в сфере человеческих взаимоотношений и т.д.), необходимостью обеспечения единства экспертных измерений. Проблема аттестации алгоритмов обработки экспериментальных данных, полученных экспертным методом, впервые была поставлена в работах И.Ф. Шишкина и В.М. Станякина.

Проблему аттестации алгоритмов обработки квалиметрической информации целесообразно решать, используя общий подход метрологической аттестации алгоритмов обработки данных при измерениях. Идея метрологической аттестации алгоритмов обработки заключается в их исследовании на наборе типовых моделей с целью определения показателей качества (характеристик) алгоритмов. Конечной целью аттестации алгоритмов является обеспечение объективного критерия для сопоставления алгоритмов и рационального выбора алгоритмов в конкретной измерительной задаче. Настоящая работа посвящена решению таких актуальных научных задач, как: – выбор оптимальной номенклатуры измеряемых показателей качества; – выбор критериев принятия решений; – разработка методологии исследования качества алгоритмов обработки квалиметрической информации (результатов экспертиз) с целью их аттестации.

1 ЭКСПЕРТНЫЕ ИЗМЕРЕНИЯ 1.1

МЕТОДЫ ЭКСПЕРТНЫХ ИЗМЕРЕНИЙ

Экспертные методы измерений получили широкое распространение в различных отраслях: в пищевой, легкой, парфюмерной промышленности, архитектуре, медицине, спорте и т. д. Они применяются тогда, когда применение более объективных методов с использованием технических средств невозможно, сложно или экономически невыгодно. Разновидностями экспертных измерений являются органолептические измерения и социологические исследования. Социологические исследования строятся на массовых опросах населения или отдельных его групп, тем самым члены которых выступают в качестве экспертов. Они проводятся путем анкетирования, интервьюирования, открытого и тайного голосования и используются для выявления общественного мнения, подготовки государственных решений (референдумов), для определения потребительской оценки качества продукции и услуг. Количество экспертов при этом может варьировать от одного до десятков тысяч и даже миллионов. Состав экспертов, конечно же, зависит от поставленной цели. Если исследуется продукция или услуга, предназначенная для взрослых, например пиво или спиртные напитки, то состав экспертной комиссии должен состоять только из взрослого населения. Продукция или услуга, предназначенная для узкого круга потребителей или специального назначения, должна измеряться соответствующей экспертной комиссией. Однако продукция или услуга, потребляемые независимо от возраста, пола или профессии, должны оцениваться общей рядовой группой потребителей. Органолептические же измерения основаны на использовании органов чувств человека: зрения, слуха, обоняния, осязания и вкуса. Необходимо иметь в виду, что органы осязания представляют собой комплекс четырех воспринимающих элементов (температуры, боли, надавливания и поверхностного осязания). В настоящее время разработаны различные методы

экспертных измерений. Наиболее полная классификация экспертных методов дана в работе А. А. Азгальдова [4], в которой выделены 16 методов оценки качества проектов. Кратко приведем суть каждого метода. Метод А. Суть этого метода заключается в том, что группа экспертов в количественной форме оценивает каждый из конкурирующих вариантов проектов по совокупности всех свойств, характеризующих качество этих вариантов. Затем на основе усреднения всех оценок отдельных экспертов определяется общая оценка. Метод Б. Оценка объекта производится одним экспертом. Метод В. Путем статистической обработки данных о реализации того или иного объекта выявляется мнение потребителей. При этом принимается, что наиболее покупаемая продукция свидетельствует о том, что качество этого изделия лучше, чем остальных аналогичных. Метод Г основывается на массовом социологическом опросе потребителей (путем анкетирования и интервьюирования). Метод Д. Оценка проекта производится по показателю одного свойств, а остальные значения показателей качества фиксируются недостаточно жестко, некоторые вообще не фиксируются. Метод Е. Выбор лучшего проекта осуществляются по показателю экономичности. В рамках данного метода стараются обеспечить сопоставимость отличающихся друг от друга проектов. С этой целью производят корректировку значений показателя экономичности для каждого варианта. Корректировка эта заключается в том, что проводят подсчет дополнительных затрат, которые нужно провести по каждому варианту, для обеспечения качественной разнозначности с вариантом – аналогом. Метод Ж. Лучший вариант определяется только по одному показателю, выступающему в роли целевой функции, при ограничениях, наложенных на показатели других свойств. Метод И. Выбор лучшего варианта осуществляется по комплексному показателю, образованному на основе функциональной зависимости между единичными показателями.

Метод К. Выбор лучшего варианта осуществляется по комплексному показателю, образованному в виде отношения экономичности к показателю эффективности. Метод Л. Отличие этого метода от предыдущего заключается в том, что выбор лучшего варианта осуществляется по комплексному показателю, определяемому как разность значений этих двух показателей. Необходимым условием применение данного метода является выражение обоих показателей качества в одних и тех же единицах. В данном случае показатель эффективности выражают в денежной форме. Метод М. Варианты сравниваются по значениям показателей отдельных свойств. Лучшие значения показателей качества выделяются определенным образом, не количественно (например, знаками (+) или (>) обозначаются лучшие показатели качества, а остальные – знаками (-) или (<)). Затем составляется таблица сравнения вариантов, на основании которого выбирается лучший вариант. Метод Н заключается в том, что качество вариантов определяется путем сравнения значений отдельных показателей. Отличие от метода М выражается в том, что значения показателей качества определяются в количественной форме. Метод О. В этом методе определяются весовые коэффициенты показателей качества одним экспертом, которые в дальнейшем будут приниматься для определения комплексного показателя качества. Метод П. Сначала одним из способов (экспертным или аналитическим) определяются весовые коэффициенты показателей качества объекта. Затем их ранжируют по мере их важности и определяют значение наиболее важного показателя качества у сравниваемых объектов. Считается лучшим тот объект, у которого значение наиболее важного показателя качества выше. Если у нескольких объектов значения наиболее важных показателей качества равноценны, то определяют значения следующего по важности показателя качества и т. д. Метод Р. Лучший вариант определяется по комплексному показателю, определяемому по принципу среднего взвешенного. Не вдаваясь в подробности недостатков и достоинств каждого из перечисленных методов, можно сказать, что в

принципе все эти методы присущи для определения качества не только проектов, но и любых других объектов (продукции и услуг). В работе [4] проведен подробный анализ этих методов. Необходимо отметить, что экспертными методами измерения определяются не только количественные различия показателей качества объектов, но и качественные различия между объектами, т. е. принадлежность их к определенному классу. При таких измерениях не дают ответа на вопрос, какой из объектов обладает более высоким качеством, а определяют принадлежность объекта к определенному классу. К числу таких методов относятся: парный, двупарный (дуо-трио), треугольный, а также метод двойных стандартов. Эти методы широко применяются в пищевой промышленности. Парный метод. Из двух продуктов Л и Х, в которых должны быть исследованы качественные различия, один выбирается в качестве контрольного. Собственно любой из них может быть контрольным. Если, например, сравниваются качественные различия у хранящегося и свежего продукта, то в качестве контрольного (эталонного) используется свежий продукт. Приготавливают одинаковые пробы контрольного продукта К и неизвестного Х и представляют их экспертам в определенной, но не известной экспертам последовательности. Экспертам всегда преподносят одну пару проб, за исключением первой, контрольной пробы К. Количество проб, подвергаемых измерениям, может колебаться от 7 до 20 и даже более. Основным требованием парного метода является то, что продукты различаются между собой только одной переменной, а все остальные их показатели одинаковы. Эта переменная относится к химическому составу, влиянию метода технологической обработки, влиянию продолжительности хранения и других свойств. В задачу эксперта входит сравнить каждую пробу и определить подчеркиванием изменение показателей качества, например, более соленую, более сочную и т. д. Если задача с известным ответом, то подсчитывается количество правильных ответов, если нет, то количество предпочтений.

Двупарный метод. Этот метод заключается в ограничении количества исследуемых проб до двух, задача – в обнаружении пробы, отличающейся от двух идентичных. Далее определяется количество правильных ответов, и проверяется количественное различие, является ли оно значимым. При обработке результатов, полученных этими тремя способами, используются методы статистического анализа. Метод двух эталонов. Он был разработан для исследования запаха различных пищевых продуктов. В этом методе эксперты до проведения измерения получают две пробы: контрольную Р1 и переменную Р2 , для определения запаха. Затем экспертам подают вторую пару проб, идентичную первой. Задача заключается в определении, которая из проб идентична первой – Р1 , а которая второй – Р2 . При этом применяют наводящую пробу, подаваемую для того, чтобы «войти во вкус», а также контрольную пробу. Наводящая проба должна быть идентична контрольной пробе. После того как была определена контрольная проба, подают еще две пробы в неизвестной последовательности. В этой паре находится контрольная и неизвестная пробы. Задача эксперта заключается в том, чтобы определить, которая из двух, первая или вторая, является контрольной. Сравнение результатов определений позволяет определить количество правильных ответов. По процентному отношению числа правильных ответов к общему числу измерений определяют, есть ли существенное различие между пробами. Треугольный метод. При треугольном методе также применяют контрольную наводящую пробу. Сначала экспертам подают контрольную пробу, затем – три пробы одновременно, две из которых идентичны. Задача заключается в том, чтобы из трех проб, из которых две должны быть идентичны, выбрать непарную или лучшую по качеству. Получение результатов при экспертных измерениях независимо от применяемого метода завершает только экспериментальную часть. За ней следует обработка результатов измерений.

1.2 ВИДЫ ЭКСПЕРТНЫХ ИЗМЕРЕНИЙ. МНОГОКРАТНЫХ ЭКСПЕРТНЫХ ИЗМЕРЕНИЙ

КЛАССИФИКАЦИЯ

Объектами измерений могут быть качество продукции и услуг, мастерство исполнителей, уровень знаний студентов и т. п. При экспертных измерениях в случае оценки качества продукции и услуг мы имеем дело с пассивным контролем, т. е. измеряемые показатели качества являются постоянными. В данном случае мы имеем дело со статическими измерениями. В других случаях, например при оценке уровня знаний студентов или мастерства исполнителей, в качестве факторов, влияющих на ответы студентов или на выступление исполнителей, могут быть поведение экзаменаторов, судей, шум в зале и т. д. В этих случаях поведение объекта может оказаться непредсказуемым. Действие этих факторов является изменяющимся во времени. В этих случаях имеет место измерение показателей качества, изменяющихся во времени, т. е. динамические измерения. Хотя большинство измерений является однократными, при проведении экспертных измерений однократное измерение проводится редко. Под многократным измерением понимают измерение, результатом которого является совокупность результатов однократных измерений. Объем этой совокупности больше или равно двум. Две крайние ситуации формирования многократных экспертных измерений представлены на рисунке 1. При проведении инструментальных измерений различают несколько способов накопления экспериментальных данных. Все эти способы присущи и экспертным измерениям: 1) многократное измерение одного и того же показателя качества конкретного объекта измерения одним и тем же экспертом (см. рис. 1 а); 2) последовательное измерение одного и того же показателя качества конкретного объекта измерения разными экспертами (см. рис. 1 б); 3) многократное измерение одного и того же показателя качества конкретного объекта измерения разными экспертами в разное время;

4) многократное измерение одного и того же показателя качества разных объектов измерения одного и того же назначения одним и тем же экспертом; 5) одновременное или последовательное измерение одного и того же показателя качества разных объектов измерения разными экспертами; 6) многократное измерение одного и того же показателя качества разных объектов измерения одного функционального назначения разными экспертами в разное время.

Х

Эксперт

Q1 (х) , Q2 (х) , Q3 ( х) , … Qn (х)

а)

Х

Эксперт

Q1(х)

Эксперт

Q2 (х)

Эксперт

Q3(х)

. . .

Эксперт б) Рисунок 1 – Схемы экспертных измерений

Qn(х)

.

формирования

многократных

Многократные экспертные измерения одного и того же показателя качества называется с равноточными значениями

показания, если они выполняются одним и тем же экспертом, в одно и то же время, в одних и тех же условиях. Если одно из этих условий не выполняется, то такие измерения называются неравноточными. Согласно данному определению, только первый и четвертый способы накопления измерительной информации позволяют получить многократные измерения с равноточными значениями показания, а второй и третий способы – многократные экспертные измерения с неравноточными значениями показания. При накоплении информации четвертым, пятым и шестым способами получаем две серии измерений, четвертым способом – две серии измерений с равноточными значениями показания, пятым и шестым способами – две серии измерений с неравноточными значениями показания. В случае многократных экспертных измерений с неравноточными значениями показания необходимо учитывать вес каждой серии измерений. По отношению к методам экспертных измерений в случае многократного измерения одним экспертом (метод Б) получаем многократные измерения с равноточными значениями показания. А измерения, выполняемые методами А, Д, З являются многократными с неравноточными значениями показания. Измерения, выполняемые с помощью всех остальных методов, могут быть как с равноточными значениями показания, так и с неравноточными значениями показания, в зависимости от количества экспертов. В свою очередь при получении результатов измерений методами О, П, Р производится комплексирование показателей качества, т. е. производятся математические действия над показателями качества. Итак, в одних случаях имеем дело с многократными измерениями с равноточными значениями показания, в других – с неравноточными значениями показания, в третьих – с математическими действиями над показателями качества. Естественно, во всех трех случаях алгоритмы обработки экспериментальных данных, полученных экспертными методами, отличаются.

2 ОСНОВЫ ПЛАНИРОВАНИЯ ЭКСПЕРТНЫХ ИЗМЕРЕНИЙ 2.1 ПОСТАНОВКА ИЗМЕРЕНИЙ

ЗАДАЧИ

ПЛАНИРОВАНИЯ

ЭКСПЕРТНЫХ

Экспертные измерения занимают центральное место при оценке качества продукции и услуг. Однако возникает вопрос, насколько эффективно проводятся экспертные измерения. Одним из возможных путей повышения эффективности экспертных методов измерения является применение методов планирования эксперимента. Под планированием эксперимента понимают процедуру выбора числа и условий проведения опытов, необходимых и достаточных для решения поставленной задачи. При этом предполагается, что такие элементы эксперимента, как техническое, организационное и кадровое обеспечение, определены, а неопределенными остаются факторы, входящие в программное обеспечение и влияющие на качество искомых оценок. Эти факторы зависят от типа решаемых задач. Задачами экспертных измерений являются: – определение количественных значений показателей качества; – определение принадлежности объекта к классу эквивалентности. При решении этих задач к неопределенным относятся следующие факторы: метод измерения, алгоритм обработки экспериментальных данных, объем многократных измерений. При определении оценок принадлежности объекта к классу эквивалентности добавляется еще один фактор – параметр решающей функции. Задача выбора числа измерений, методов математической обработки их результатов и принятия решений – это и есть задачи планирования эксперимента. Кроме того, качество продукции и услуг зависит от многих показателей. Учет всех показателей невозможен, поэтому возникает задача выбора оптимальной номенклатуры показателей, влияющих на качество. Поэтому процедуру выбора оптимальной номенклатуры показателей качества, числа измерений, методов

математической обработки результатов квалиметрической информации и принятия решений при определении качества продукции и услуг назовем планированием экспертных измерений, а планом измерения – результат этой деятельности. В соответствии с задачами экспертных измерений можно различать: – планирование экспертных измерений при оценке количественных значений показателей качества; – планирование экспертных измерений при оценке принадлежности объекта к классу эквивалентности. В свою очередь планирование экспертных измерений может быть подразделено на частные: – планирование экспертных измерений постоянной величины; – планирование экспертных измерений при обеспечении требуемой точности измерений; – планирование экспертных измерений изменяющейся во времени величины; – планирование экспертных измерений при оценке качества однотипных изделий и услуг на основе однократного плана измерений; – планирование экспертных измерений при оценке качества однотипных изделий и услуг на основе многократного плана измерений; – планирование экспертных измерений при оценке качества разнотипных изделий и услуг на основе однократного плана измерений; – планирование экспертных измерений при оценке качества разнотипных изделий и услуг на основе многократного плана измерений и т. п. 2.2 ПЛАНИРОВАНИЕ ЭКСПЕРТНЫХ ИЗМЕРЕНИЙ ПРИ ОЦЕНКЕ КОЛИЧЕСТВЕННЫХ ЗНАЧЕНИЙ ПОКАЗАТЕЛЕЙ КАЧЕСТВА

Количественная оценка значений показателей качества объектов экспертизы может быть осуществлена следующими методами, приведенными в п. 1.1: А, Б, Д, З, И, Л, О, П, Р. При этом может быть определено значение показателей качества одного и того же объекта экспертизы или значение показателей

качества разных объектов экспертизы одного и того же назначения. В случае количественной оценки показателей качества одного и того же объекта экспертизы методами А, Б, Д, З, И, Л, О, П, Р структура плана измерения имеет следующие структурные элементы: 1) априорная информация; 2) выбор оптимальной номенклатуры измеряемых показателей качества; 3) объем многократных измерений; 4) метод измерения; 5) алгоритм обработки квалиметрической информации. В случае количественной оценки показателей качества разных объектов экспертизы в план измерений добавляется еще один фактор – параметр решающей функции. Следовательно, план измерения будет иметь вид: 1) априорная информация; 2) выбор оптимальной номенклатуры измеряемых показателей качества; 3) объем многократных измерений; 4) метод измерения; 5) алгоритм обработки квалиметрической информации; 6) параметр решающей функции. В случае, когда измеряемый показатель качества является переменной величиной, неопределенной является совокупность дискретных значений, в которых надо выполнять измерения. План измерения в этом случае будет выглядеть следующим образом: 1) априорная информация; 2) выбор оптимальной номенклатуры измеряемых показателей качества; 3) объем многократных измерений; 4) метод измерения; 5) алгоритм обработки квалиметрической информации; 6) совокупность дискретных значений, в которых надо выполнять измерения.

2.3 ПЛАНИРОВАНИЕ ЭКСПЕРТНЫХ ИЗМЕРЕНИЙ ПРИ ОЦЕНКЕ ПРИНАДЛЕЖНОСТИ ОБЪЕКТА К КЛАССУ ЭКВИВАЛЕНТНОСТИ

При оценке принадлежности объекта к классу эквивалентности по одному параметру суть оценки качества изделия сводится к определению, находиться ли значение измеряемой параметра объекта в заданных пределах. При этом возникает два типа задач: 1) определить меньше или больше значение измеряемого параметра Q некоторого значения Q п ; 2) определить находится ли значение измеряемого параметра Q в интервале от Q 0 до Q 01 . План измерения при оценке принадлежности объекта к классу эквивалентности имеет вид: 1) априорная информация; 2) выбор оптимальной номенклатуры измеряемых показателей качества; 3) объем многократных измерений; 4) метод измерения; 5) алгоритм обработки квалиметрической информации; 6) параметр решающей функции. Техническая реализация такой оценки возможна двумя способами: – на основе стандартных образцов (например, белизну муки определяют по стандартным образцам белизны); – на основе экспертных измерений. Стандартные образцы не измеряют величину Q , а воспроизводят граничные значения

Q 0 и Q01 , и на основе

сравнения Q с Q0 и Q 01 оценивают принадлежность объекта к классу эквивалентности. Оценка качества объекта вторым способом, т. е. на основе экспертных измерений, осуществляется следующим образом: сначала измеряют экспертным методом искомый параметр Q , а затем на основе результатов измерения определяют принадлежность объекта к классу эквивалентности.

2.4 ВЫБОР ОПТИМАЛЬНОЙ ПОКАЗАТЕЛЕЙ КАЧЕСТВА

НОМЕНКЛАТУРЫ

ИЗМЕРЯЕМЫХ

Степень влияния показателей на качество продукции и услуг различна. Поэтому возникает задача выбора оптимальной номенклатуры измеряемых показателей качества, оказывающих влияние на качество продукции и услуг. В планировании эксперимента разработаны специальные методы, которые при выполнении некоторых предпосылок позволяют выявить существенные факторы с помощью небольшого числа экспериментов и при небольших затратах вычислительного времени. К числу таких методов относятся: – дисперсионный анализ, в основу которого положено предположение о том, что существенность некоторого фактора характеризуется его вкладом в дисперсию выходной величины; – насыщенные дробные факторные планы, основанные на предположении о наличии линейных эффектов и приводящие к оценке существенных факторов по их вкладу в математическое ожидание выходной величины; – насыщенные экспериментальные планы ПлакетаБермана, для которых также предполагается наличие только линейных эффектов; – метод случайного баланса, применяемый в предположении, что среди рассматриваемых факторов не все являются существенными; – корреляционный анализ, основанный на предположении о взаимной корреляции между всевозможными парами факторов; – опрос экспертов с целью ранжирования факторов по степени их влияния на выходную величину или сочетание опроса с экспериментом. Иногда эти методы называют методами отсеивающих экспериментов. Последние дают сравнительную оценку влияния различных факторов на качество продукции и услуг.

При решении задач выделения существенных показателей, влияющих на качество продукции, процессов и услуг, можно использовать методы планирования эксперимента. Анализ этих методов показывает, что наиболее

приемлемыми для выявления существенных факторов при экспертных измерениях являются априорное ранжирование, дисперсионный анализ и метод ранговой корреляции. 2.4.1 ДИСПЕРСИОННЫЙ АНАЛИЗ 2.4.1.1 ДИСПЕРСИОННЫЙ АНАЛИЗ С ОДНОКРАТНЫМ НАБЛЮДЕНИЕМ

Для выделения существенных показателей при экспертных измерениях может быть применен однофакторный дисперсионный анализ с однократным наблюдением, если измерения проводились одним экспертом. При измерениях одним экспертом показателей качества n объектов экспертизы имеем лишь одно измеренное значение показателя качества, а их общее число равно m·n. Для N = mn выборок Qij , i = 1...n , j = 1...m предполагается, что наблюдаемое значение представлено в виде: Qij = m + a j + bi + eij ,

(1)

где m , a j , bi – некоторые константы, а eij – независимые нормально распределенные случайные величины с математическим ожиданием, равным нулю, и одной и той же дисперсией σ 2 . Используя выборочные характеристики 1 n (средние по строкам) Q j = ∑ Qij , n i =1 1 m (средние по столбцам) Qi = ∑ Qij , m j =1

1 m n ∑∑ Qij mn j =1 i =1 и условие репараметризации Q= m

∑a j =1

ij

= 0;

n

∑b i =1

ij

(общее среднее)

= 0,

можно методом наименьших параметров модели (1):

квадратов

найти

оценки

m

n

(

)

2

m

n

m

n

j =1

i =1

SR = ∑∑ Qij − Qj − Qi + Q = ∑∑Qij2 − m∑Q2j − ∑Qi2 + mnQ2 ;

m =Q;

j =1 i =1

a j = Qj − Q , bi = Qi − Q ,

j = 1...m ;

S R2 =

i = 1...n .

Результаты измерений и выборочные характеристики принято представлять в виде таблицы 1. Задачей дисперсионного анализа является проверка равенства нулю параметров a j , bi . То есть необходимо проверить гипотезы:

H A : a1 = a2 = ... = am = 0

–

показатели

качества

не

отличаются друг от друга; и H B : b1 = b2 = ... = bm = 0 – по качеству объекты не отличаются друг от друга.

j =1 i =1

SR . ( m − 1)( n − 1)

S A2 S B2 и имеют F – S R2 S R2 свободы ν1 = m −1 ,

Для гипотез H A и H B отношения распределение

со

ν 2 = ( m − 1)( n − 1)

степенями

ν1 = n − 1,

и

ν 2 = ( m − 1)( n − 1)

соответственно. Рассчитанные числовые значения заносят в таблицу 2.

i j Показатели: 1

Объекты 1, 2, … n Q11 , Q21 , …, Qn1

Средние по строкам

Q j =1

Таблица 2 – Дисперсионный анализ для нескольких показателей качества с однократным наблюдением ν Источники S F S2 изменчивости m 2 m-1 Показатели S A2 S A2 SA = m Qj − Q А 2

2

Q21 , Q22 , …, Qn 2

Q j =2

Объекты В

Таблица 1

. . . m Средние столбцам

∑(

)

(

)

j =1

n

S B = n∑ Qi − Q i =1

по

Q1m , Q2m , …, Qnm

Q j =m

Ошибка эксперимента

Qi =1 , Qi = 2 , …, Qi = m

Q

Дисперсия

Суммы квадратов будут равны: m 2 S S A2 = A ; S A = m∑ Q j − Q ; m −1 j =1

(

n

)

(

S B = n∑ Qi − Q i =1

)

2

;

S B2 =

SB ; n −1

m n

m

n

j=1 i=1

j=1

i=1

2

SR =∑∑Qij2 −m∑Q2j −∑Qi2 +mnQ2

S = S A + SB + SR

SR

n-1

S B2

( m−1)( n −1)

S R2

S B2 S R2

mn-1

Гипотеза H A : a1 = a2 = ... = am = 0 отвергается, если для заданного уровня значимости α рассчитанное значение FА > Fкрит. , где Fкрит. находим по таблицам F – распределения при ν 1 = n − 1 , ν 2 = ( m − 1)( n − 1) . Если FА < Fкрит. , то нет оснований отвергать данную гипотезу.

2.4.1.2 ДИСПЕРСИОННЫЙ НАБЛЮДЕНИЕМ

АНАЛИЗ

С

МНОГОКРАТНЫМ

В случае работы экспертной комиссии для выделения существенных показателей может быть применен двухфакторный дисперсионный анализ с многократными наблюдениями. Пусть каждый показатель качества измерялся n экспертами. В этом случае имеем r результатов измерений Qij1 ,

Qij 2 , …, Qijr . Тогда в линейную математическую модель включают эффекты взаимодействий ( ab )ij :

Qijr = m + a j + bi + ( ab )ij + eijr .

(2)

В данном случае условия репараметризации будут иметь вид: n

m

∑a j =1

j

=0;

i =1

m

∑ ( ab ) j =1

n

∑b = 0 ;

ij

i

m

j =1 i =1

n

i =1

С помощью метода наименьших квадратов находят точечные оценки параметров m , a j , bi и ( ab )ij . Вводят выборочные характеристики: 1 m r 1 r Qij = ∑ Qijr , Qi = ∑∑ Qijk ; r k =1 mr j =1 k =1 1 m n r 1 n r Q j = ∑∑ Qijk ; Q = ∑∑∑ Qijr ; nr i =1 k =1 nmr j =1 i =1 k =1 n 2 S S A = mr ∑ Qi − Q ; S A2 = A ; m −1 i =1 n 2 S 2 S B = nr ∑ Q j − Q ; S B = B ; n −1 j =1

( (

) )

m

r

i =1 j =1 k =1

)

2

2 ; S AB =

(

)

S AB ; ( m − 1)( n − 1)

2

SR . nm ( r − 1)

Результаты дисперсионного анализа принято представлять в виде таблицы 3. Таблица 3 Источники изменчивости Показатели А

ν

S2

F

2

m-1

S A2

FA =

S A2 S R2

2

n-1

S B2

FB =

S B2 S R2

FAB =

2 S AB S R2

S

(

)

(

)

n

S A = m r ∑ Qi − Q i =1

Объекты В

S B = nr ∑ Q j − Q

Взаимодействие А и В

S AB = r ∑∑ Qij2 -

n

j =1

n

( m − 1)

m

m

2 S AB

×

i =1 j =1

n

- m r ∑ Q − nr ∑ Q + 2 i

i =1

i = 1...n .

=0;

(

S R = r ∑∑∑ Qijk − Q ; S R2 =

= 0 ; j = 1...m ;

∑ ( ab )ij

n

S AB = r ∑∑ Qij − Q

j =1

2 j

+ nmrQ 2 Экспериментальная ошибка

n

r

nm( r −1)

S R2

i =1 j =1 k =1

n

m

- r ∑∑ Q 2 i =1 j =1

Общая ошибка

m

S R = r ∑∑∑ Qijr2 -

n

ij

m

r

S = ∑∑∑ Qijk2 -

nmr − 1

i =1 j =1 k =1

- nmrQ 2 Величины S R и S представляют собой несмещенную оценку дисперсии. Для проверки гипотез H A : a1 = a2 = ... = am = 0 – показатели качества равнозначны;

H B : b1 = b2 = ... = bm = 0

– объекты по качеству

не

отличаются друг от друга; H AB : ( ab )ij = 0 – эффекты взаимодействия не значимы, применяется F-критерий. H AB отвергаются, если при Гипотезы H A , H B и заданном уровне значимости соответственно окажется, что

FA > Fкрит . ,

FB > Fкрит . , FAB > Fкрит . ,

где Fкрит . – критическое

значение F – распределения со степенями свободы ν 1 = n − 1 и

ν 2 = тn ( r − 1) ,

ν1 = m −1

и

ν 2 = тn ( r − 1) ,

или

ν 1 = ( m − 1)( n − 1) и ν 2 = тn ( r − 1) . 2.4.1.3 НЕПОЛНОБЛОЧНЫЕ ПЛАНЫ

Неполноблочные планы (блок-схемы) используются при отсутствии возможности реализовать все вероятные варианты. Блок-схемы позволяют оценить влияние экспертов и снизить ошибку эксперимента. Блок-схемы полезны при экспертных оценках (проверка значимости различий сортов и т.п.). Блоками будем называть экспертов. В задаче, например, нужно учесть пять блоков, если экспертная комиссия состоит из пяти экспертов. Эксперты могут оценивать разное число элементов, т. е. объектов экспертизы. Так, если каждый эксперт оценивает четыре объекта экспертизы, то блоки соответственно содержат по четыре элемента. План называется полноблочным, если в процессе эксперимента в каждом блоке изучают все элементы. Примером полноблочного плана является полный факторный эксперимент. Когда в блоках изучают лишь некоторые их элементы, имеют дело с неполноблочным планом, который экономичнее. При размещении элементов в неполноблочных планах учитывают правила, определяющие частоту появления элементов и их пар. В связи с этим различают: число блоков – n, число элементов – m, число единиц в блоке – q, число повторений в строке – r, число повторений каждой пары элементов - λ и общее число опытов – N. Ни один из блоков

неполноблочного плана не содержит всех элементов. План, в котором каждый элемент и каждая пара элементов принадлежат одному и тому же числу блоков, называется сбалансированным, или BJB-схемой (уравновешенной неполной схемой). Такие планы из-за характерных для них свойств уравновешенности позволяют применять одну и ту же стандартную ошибку при сравнении каждой пары элементов. Неполноблочность дает возможность снижать число опытов. Таким образом, в BJB-схеме каждый блок Вi содержит одинаковое число элементов q, каждый элемент Qi принадлежит одному и тому же числу блоков (r) и для каждой пары элементов – Qi и Qj число блоков, содержащих эту пару, равно λ. При этом обеспечиваются следующие соотношения: N = nq = mr ; r ( q − 1) = λ ( m − 1) . Неполноблочные планы называются симметричными, если n=m и r=q; подобные планы называются SBJB-схемы. При обработке экспериментальных данных, полученных с использованием неполноблочных сбалансированных планов, применяют дисперсионный анализ. В случае применения блок-схем в экспертных оценках рекомендуется обеспечить выполнение следующих требований: каждый эксперт оценивает одно и то же число объектов; каждый объект проверяется одинаковым числом экспертов; каждую пару объектов один эксперт должен сравнивать одно и то же число раз. Все эти требования выполняются при использовании сбалансированного неполноблочного плана. Защита выпускной квалификационной работы студентов

Q1 – актуальность; Q2 – содержание; Q3 – доклад; Q4 – ответы на вопросы; Q5 – оформление; Q6 – применение вычислительной техники; Q7 – оценивается по следующим показателям:

публикация;

Q8

– внедрение;

Q9

– средняя оценка за период

обучения; Q10 – отзыв руководителя; Q11 – отзыв рецензента. Неполноблочный план и результаты экспертной оценки

Qij

представлены в таблице 4.

Значимость показателей качества определялась по 20балльной шкале, причем каждый эксперт имел возможность оценить качества четырех показателей, а каждый показатель оценивали шесть экспертов.

1

n

2

3

4

Эксперты 5 6 7 8

Q1 Q2 Q3

1

Q4 Q5

9 10 9

9 10 6

10

11

G j = ∑ Qij и сумму рангов, проставленных i-м экспертом, тем i =1

m

показателям, которые он определяет: Bi = ∑Qij .

10

7

38 8,28

Далее подсчитывается сумма рангов тех экспертов, которые определяли j-й показатель качества. В данном случае эта сумма рангов пяти экспертов, так как каждый показатель определяли пять экспертов. При обработке результатов экспертной оценки сначала

8

9

45 15,28

определяют сумму рангов j-го показателя: G j = ∑ Qij , и сумму

25 4,72

рангов, проставленных i-м экспертом, тем показателям, которые

28 1,72

он определяет: Bi = ∑Qij .

5

25 4,72

9

33 3,28 11 18,72

Далее определяется сумма рангов тех экспертов, которые определяли j-й показатель качества. В данном случае эта сумма рангов пяти экспертов, так как каждый показатель определяли пять экспертов:

15 14,72

В(1) = ∑ B j = 24 + 35 + 29 + 28 + 36 = 152 .

9

35 5,28

11 11 11 11

11

5

7

55 25,18 9

n

7

3

6

Q6 Q7

4

Q8

7

7

Q9

6

4

1

1

5

4

6

5

5

5

2

2

5

2

8

4

6

7

3

i =1

m

j =1

5

Q10

4

1

3

1

3

12 17,72

23

26

33

32 2

3,73

2

3,27

36

2

6,27

4,27

2,27

6,73

24 35 29 28 36 27 25

1,27

Вi

0,27

2

5,73

3

5,27

Q11

В

9

Gj G

j =1

6,73

Показатели

Таблица 4

В данном примере целью экспертной оценки являлось определение наиболее значимых показателей качества и установление значимых различий между ними. В примере использовалась ВJВ-схема со следующими параметрами: m=n=11; g=r=5; N=ng=mr=55. При обработке результатов экспертной оценки сначала необходимо определить сумму рангов j-го показателя

Разброс значений результатов измерения по показателям и по экспертам определяем по формулам:

∑ (G m

σ п2.н. = где G п = G

m

качества;

j =1

− Gп )

2

j

r

,

– средний арифметический ранг показателей

∑ (В n

σ э2.н. =

i =1

i

− Вэ )

2

G – средний арифметический ранг экспертов. n 2 В нашем случае σ п.н. = 381,65 , σ э2.н. = 47,42 .

Влияние неучтенных показателей на сумму рангов тех экспертов, которые определяли j-й показатель качества, определяется с помощью так называемого фактора эффективности Е, определяемого отношением:

m( g − 1) = 0,88 . g (m − 1)

Уточненная сумма рангов экспертов, определявших j-й 1 показатель, будет равен В(1) . Тогда разброс значений Е результатов измерения j-го показателя по тем экспертам, которые определяли j-й показатель, будет равен:

σ

2 э. j .

1 = rE

2

B    G j − (i )  , σ э2. j . = 399 ,54 . ∑  g  j =1  m

Уточненную сумму рангов по экспертам и ошибку эксперта определяем соответственно:

σ э2.и. = σ э2.н. + σ э2. j − σ п2.н. ; σ э2.и. = 47,42 + 399,54 − 381,65 = 65,31. Общая ошибка равна:

σ

2 общ

2

n m G  G2  2 ; = ∑ ∑  Qij −  = ∑ ∑ Qij − (rv ) r ⋅m i =1 j =1  i =1 J n

m

2 σ общ = 2402 − 1885 ,16 = 516 ,83 ;

2 2 2 2 σ ош . = σ общ − σ э.н. − σ п.н. ;

σ

2 ош.

σ

g

где В э =

E=

Средний разброс значений экспертов и средняя ошибка эксперта определяются соответственно:

= 516,83 − 47,42 − 399,54 = 69,87 .

2 э .и .

=

σ э2.и .

2 ; σ ош =

2 σ ош

,

f ош = (mr − 1) − (n + m ) .

fэ

где f э = n − 1 , f ош

2 2 В нашем случае σ ош . = 69,87 , σ э.и . = 65,31, f э = 11 − 1 = 10 ,

f ош = (11 ⋅ 5 − 1) − (11 + 11) = 32 , σ

2 э .и .

= 6 ,53 , σ

2 ош

= 2 ,18 .

Уточнение суммы рангов j-го показателя проводят по формуле:

G ||j = G j + µω j где

ω j – величина, учитывающая влияние неучтенных

показателей качества; µ – весовой коэффициент. Значения ω j и µ находим по формулам:

ω j = (m − g )G j − (m − 1)B( j ) + (g − 1)G ; µ=

(n − 1)(E b − E e ) m ( g − 1)(n − 1)E b + (m − g )(n − m )E e

= 0,016 ,

m

где G = ∑ G j . j =1

Если σ э2.и . ≤ σ

σ э2.и . > σ

, то принимают µ~ = 0 . В нашем случае

2 ош

2 ош

, поэтому рассчитываем µ . Для расчетов приведена вспомогательная таблица 5. Средние значения оценок определяем по формуле: 1 m Gп// = ∑ G ||j . r j =1 После уточнения суммы рангов по показателям находим разброс уточненных значений по формуле:

∑ (G m

σ п2.и . =

j =1

|| j

− Gп|| r

)

2

.

Средний разброс соответственно равен: σ2 σ п2.и = п .и .

Результаты дисперсионного анализа сведены в таблицу 6. Расчетное значение критерия Фишера: σ 2 Е F расч . = п/ = 17 ,85 F расч . = 2п .и . = 17 ,85 . σ ош . у . Ее

fп

где f п = m − 1 . В нашем случае σ п2.и . = 428,67 . Таблица 5

аj

Gj

B(i ) G −B(i) j g

2

 B(i)  G −   j g  

ωj

G

|| j

G||j −

G m

(G )

|| 2 j

Таблица 6 Источники дисперсии

Дисперсии не уточуточненные ненные σ э2.н. = 47,42 σэ2.и. = 65,31

Эксперты

Число степеней свободы fэ = 10

Средняя дисперсия σэ2.и = 6,53

fп =10

σп2.и. = 42,86

σ э2. j . = 399 ,54

Подгруппа экспертов Показатели

35

152

4,6

21,16

-22

34,63

5,35

28,62

55

152

24,6

605,16

98

56,67

27,4

750,76

38

143

9,4

88,36

86

39,46

10,19

103,83

Q4 Q5

45

147

15,6

243,36

88

46,49

17,22

296,52

25

155

-6

36

-112

23,10

6,17

38,06

Q6

28

147

-1,4

1,96

-14

27,76

1,51

2,28

Q7

25

142

-3,4

11,56

18

25,31

3,96

13,39

Q8

33

Fтабл. = 2,09 . табличное значение критерия Фишера: Следовательно, различие между показателями качества

149

3,2

10,24

-4

32,93

3,66

13,39

Q9

11

считается значимым ( F расч . > Fтабл. ).

145

-18,0

324

-96

9,36

19,91

396,41

Q10

15

137

-12,4

153,76

8

15,13

14,14

199,94

Проранжируем показатели качества по сумме рангов и получим следующий ранжированный ряд:

Q11

12

141

-16,2

262,44

-50

11,20

18,07

326,52

1758

0

322

Q1 Q2 Q3

2143,39

Различие между показателями проверяем с помощью критерия Фишера. При расчете по критерию Фишера учитывается величина уточненной ошибки: 2 2 . σ ош . у . = σ ош . [1 + (m − g )µ ] 2 В нашем случае σ ош . у . = 2, 4

σ п2.н. = 381,65

σп2.и. = 428,67

2 σ ош . = 69,87

Ошибка эксперта

2 σ общ . = 516,83

f ош = 32

2 σ ош . = 2 ,18

N-1=54

По числу степеней свободы f п = 10 и f ош = 32 находим

< Q1 < Q3 < Q4 < Q2 . Если необходимо выбрать восемь наиболее важных

Q9 < Q11 < Q10 < Q5 = Q7 < Q6 < Q8

Q2 – содержание; Q4 ответы на вопросы; Q3 – доклад; Q1 – актуальность; Q8 внедрение; Q6 – применение вычислительной техники; Q7

показателей качества, то ими будут:

публикация;

Q5

– – –

– оформление.

2.4.2 АПРИОРНОЕ (ФАКТОРОВ)

РАНЖИРОВАНИЕ

ПОКАЗАТЕЛЕЙ

КАЧЕСТВА

Особенность метода априорного ранжирования показателей качества заключается в том, что показатели качества ранжируются в порядке убывания вносимого им вклада. Вклад каждого показателя оценивается по величине ранга – места, которое отведено исследователем (специалистом при опросе, экспертом) данному показателю при ранжировании всех показателей с учетом их предполагаемого (количественно неизвестного) влияния на качество продукции и услуг. При сборе мнений путем опроса специалистов каждому из них предлагается заполнить анкету, в которой перечислены показатели, их размерность и предполагаемые интервалы варьирования. Заполняя анкету, специалист определяет место показателя в ранжированном ряду. Одновременно он может включить дополнительные показатели или высказать мнение об изменении интервалов варьирования. Результаты опроса специалистов обрабатываются следующим образом. Сначала определяют сумму рангов по показателям

 m   ∑ aij  , а затем разность ( ∆ i ) между суммой  1 

каждого показателя и средней суммой рангов и сумму квадратов отклонений (S): m

∆i = ∑ aij − 1 m

k

m

1

1

∑∑ a k

ij

m

= ∑ aij − T ; 1

ω=

)

m 2 k 3 − k − m∑ T j

(

)

T j = ∑ t 3j − t j ;

где

(3)

,

t j – число одинаковых рангов

в j-м

ранжировании. Использовать коэффициент конкордации можно после оценки его значимости, которая возможна с помощью специальных таблиц или известных статистических распределений. Например, величина m(k − 1) имеет х2 – распределение с числом степеней свободы f = k − 1 . Значение х2 – критерия определяют по формуле (4) 12 s x2 =

mk (k + 1) −

1 m ∑ Ti k −1 1

.

Гипотеза о наличии согласия может быть принята, если при заданном числе степеней свободы табличное значение х2 меньше расчетного для выбранного уровня значимости. Оценив согласованность мнений всех экспертов, строят среднюю диаграмму рангов, откладывая по одной оси показатели, а по другой – соответствующие суммы рангов. Чем меньше сумма рангов данного показателя, тем выше его место в диаграмме. С помощью последней оценивается значимость каждого показателя (рис. 2). Показатели х5 х9 х10 х6 х7 х11 х12 х1 х2 х3 х4 х8

1

m – число экспертов; k – число показателей; Т – средняя сумма рангов. Полученные значения позволяют построить среднюю априорную диаграмму рангов, но предварительно необходимо оценить степень согласованности мнений всех экспертов с помощью коэффициента конкордации ω:

(

1 1

S = ∑ ( ∆a ) 2 ,

где aij – ранг каждого i-го показателя j-го эксперта;

12 s

0 10 20 30 40 50 Рисунок 2

В случае неравномерного экспоненциального убывания распределения часть факторов можно исключить из дальнейшего рассмотрения, отнеся их влияние к шумовому полю. Если же их распределение равномерное, то в эксперимент рекомендуется включать все факторы. В случае неравномерного экспоненциального убывания распределения часть показателей можно исключить из дальнейшего рассмотрения, отнеся их влияние к шумовому полю. Если же их распределение равномерное, то необходимо учитывать все показатели. В ситуациях с очень большим числом показателей, кроме общей согласованности мнений исследователей, рассматривают с помощью х2 - распределение и согласованность по каждому показателю в отдельности.

Коэффициент ранговой связи, предложенный Спирмэном имеет вид: n

ρ = 1−

y 1 , y 2 , y 3 …, y n .

i =1

(

2

6S , n n2 −1

= 1−

)

n n2 −1

(

(5)

)

n

где S = ∑ ( xi − y i )2 ; i =1

x i – ранг i-го объекта по показателю качества Х; y i – ранг i-го объекта по показателю качества У.

В том случае, когда ранжированные ряды содержат совпадающие ранги, то коэффициент ранговой корреляции имеет вид:

2.4.3 КОРЕЛЛЯЦИОННЫЙ АНАЛИЗ

Для выделения существенных показателей качества, влияющих на качество продукции и услуг, можно воспользоваться корреляционным анализом. При этом между всевозможными парами показателей качества необходимо вычислить коэффициент парной корреляции, который является общепринятой в математической статистике характеристикой связи между двумя случайными величинами. При высокой значимости коэффициента корреляции любой из двух рассматриваемых параметров можно исключить как не содержащий дополнительной информации об объекте исследования. Исключить можно тот параметр, который труднее измерять или физический смысл которого неясен. Если результаты измерения показателей качества получены по шкале порядка, то показателем связи ранжированных рядов является коэффициент ранговой корреляции. Допустим, что n объектов проранжированы сначала по показателям качества Х, а затем по показателям У. Ранжированные ряды будут иметь вид: х 1 , х 2 , х 3 …, х n ;

6 ∑ (x i − y i )

(

)

n

6 n 3 − n − ∑ (xi − y i ) − T − u

ρ =1− n

i =1

i

2 i

3

)

i =1

)( (n 1 1 где T = t (t − 1) ; u = ∑ u (u ∑ 12 12 1 6

((n

2

− n − 2T

1 6

n

i =1

i

)

3

− n − 2u

2 i

−1 .

)

,

(6)

)

Здесь ti и ui – числа повторений i-го ранга в ранжированных рядах по Х и У соответственно. При отсутствии связи между показателями качества Х и У распределение величины ρ подчиняется нормальному закону распределения вероятности с дисперсией: 1 . σ р2 = n −1 Значимость коэффициента ранговой корреляции определяется по критерию p ≥ p кр , где

p =

ρ ;p – кр σρ

аргумент функции Лапласа при уровне

значимости α . Если p ≥ p кр , то коэффициент ранговой корреляции считается значимым. Следовательно, существует связь между показателями качества Х и У.

– определение значения поправки θ i ; – получение единственного значения показания эксперта

2.5 АЛГОРИТМЫ ОБРАБОТКИ КВАЛИМЕТРИЧЕСКОЙ ИНФОРМАЦИИ 2.5.1 АЛГОРИТМ ОБРАБОТКИ КВАЛИМЕТРИЧЕСКОЙ ИНФОРМАЦИИ ПРИ ОДНОКРАТНЫХ ЭКСПЕРТНЫХ ИЗМЕРЕНИЯХ

В случае однократного экспертного измерения алгоритм обработки экспериментальных данных аналогичен алгоритму обработки однократного измерения, прописанного в трудах И.Ф. Шишкина. Основным условием проведения любого однократного измерения является наличие априорной информации. К ней относится, например, информация о законе распределения вероятности показания эксперта и мере его рассеяния, которая извлекается из опыта предыдущих измерений. Если ее нет, то используется информация о том, насколько значение измеряемой величины может отличаться от результата однократного измерения. При инструментальных измерениях такая информация может быть представлена классом точности средств измерений. Поскольку при экспертных измерениях аналогом средства измерения выступает эксперт, то эта информация может быть представлена погрешностью эксперта. К априорной информации также относится информация о значении поправки. Это может быть информация о влиянии психофизиологического состояния эксперта и внешних условий на результат измерений. Влияние психофизиологического состояния эксперта и внешних условий на результат измерений должно определяться в ходе научно-исследовательских работ. Безусловно, такие работы проводятся. Так, например, в работе [102] приведены данные о влиянии температуры помещения на измерение интенсивности запаха гидролизатов белка. Если же значение поправки не известно, то пользуются ситуационной моделью, согласно которой значение поправки с одинаковой вероятностью может иметь любое значение – от θ min до θ max . Порядок действий при однократных экспертных измерениях такой же, как и при инструментальных, т. е. состоят из следующих действий: – анализ априорной информации;

Xi ; – внесение в показание эксперта поправки и получение единственного значения результата измерения Q i = X i + θ i ; – определение максимально возможного отклонения результата однократного измерения

Qi от значения измеряемой

величины Q ; – определение пределов, в которых лежит значение измеряемой величины:

Qi − ε < Q < Qi + ε .

В работе [144] приведены разновидности априорной информации и способы их применения. Все они приемлемы и для экспертных измерений. Однако при экспертных измерениях редко интересуются законом распределения вероятности показания экспертов и определением статистических характеристик результатов измерений. Поэтому можно воспользоваться следующей априорной информацией: погрешность эксперта такова, что значение измеряемой величины не может отличаться от результата однократного

ε , а значение поправки равно θi . Тогда половина доверительного интервала ε , в котором

измерения больше, чем

лежит значение измеряемой величины, будет равна погрешности 1 эксперта: ε = ∆ эксперта . 2 Все это справедливо, если результат экспертного измерения выражен в количественной форме (в баллах, единицах измеряемой величины). Если же после однократного измерения получены показания эксперта по шкале порядка в виде Qi > Q j , то сложно судить о качестве данного решения (суждения).

2.5.2 АЛГОРИТМ ОБРАБОТКИ КВАЛИМЕТРИЧЕСКОЙ ИНФОРМАЦИИ, ПОЛУЧЕННОЙ ПУТЕМ МНОГОКРАТНЫХ ЭКСПЕРТНЫХ ИЗМЕРЕНИЙ С РАВНОТОЧНЫМИ ЗНАЧЕНИЯМИ ПОКАЗАНИЯ

Порядок обработки экспериментальных данных, полученных при многократных измерениях с равноточными значениями отсчета, приведен в работах [143-146]. В случае обработки результатов экспертных измерений порядок остается тем же, за небольшим исключением: 1. Анализ априорной информации. Определение значения поправки θ i . 2. Получение n независимых значений показаний эксперта

Xi 3. Внесение поправок и получение n независимых результатов измерений: Qi = X i + θ i . 4. Определение оценки среднего значения результата 1 n измерения Q = ∑ Qi . n i=1 5. Определение оценки среднего квадратического отклонения результата измерения: n 2 1 S Q = ( Q i − Q ) . ∑ n − 1 i=1 6. Исключение ошибок по правилу «трех сигм»: Q i − Q ≤ 3σ Q . Если отклонение результата отдельного измерения от среднего арифметического значения больше, чем три сигма, то его считают ошибочным и отбрасывают, после чего повторяют операции 4, 5, 6-ю. Если отклонение результата отдельного измерения от среднего арифметического значения меньше, чем три сигма, то проводится проверка нормальности закона распределения вероятности результата измерения. 7. Проверка нормальности закона распределения вероятности результата измерения. Если массив экспериментальных данных n > 40…50, то проверка

нормальности закона распределения вероятности результата измерения проводится по критерию К. Пирсона:

χ

2

k

∑

=

i=1

n  m i  − Pi   Pi  n 

2

.

Если массив экспериментальных данных n < 40…50, но больше 10…15, то проверка нормальности закона распределения вероятности результата измерения проводится по составному критерию. Если же n < 10…15, то проверка нормальности закона распределения вероятности результата измерения не проводится, а гипотеза о нормальности закона распределения вероятности (ЗРВ) результата измерения принимается или отвергается на основании априорной информации. 8. Определение стандартного отклонения среднего арифметического. Если распределение вероятности подчиняется нормальному закону, то стандартное отклонение среднего арифметического определяется по формуле:

S

S

=

€ Q

Q

n

.

Если же распределение вероятности не подчиняется нормальному закону, то стандартное отклонение среднего арифметического определяется по формуле:

(

)

n 1 . Q i2 − Q n 2 ∑ n i = 1 9. Выбор доверительной вероятности Р и определение параметра t. Если распределение вероятности результата измерения подчиняется нормальному закону, то параметр t определяется по табличным значениям функции Лапласа при заданной доверительной вероятности. Если распределение вероятности результата измерения не подчиняется нормальному

S

Q€

=

закону, то параметр t определяется по табличным значениям неравенства Чебышева. 10. Расчет половины доверительного интервала ε = tσ Q . Определение интервалов, в которых находится 11. значение измеряемой величины: Qn − ε ≤ Q ≤ Qn + ε . Иногда, когда результат измерения не подчиняется нормальному закону распределения вероятности, то применяют робастные методы обработки экспериментальных данных. Все они основаны на ослаблении влияний больших отклонений от среднего на его оценку. Простейшими робастными (устойчивыми) оценками среднего являются усеченные средние. Усеченные средние Q (α ) получают, отбрасывая по к = [n ⋅ α ] крайних членов слева и справа в упорядоченной выборке, а затем усредняя оставшиеся члены: Q (α ) =

1 n−k | . ∑ Qi n − αk i=k +1

Усеченные средние широко применяются при подведении итогов некоторых видов спортивных состязаний, когда наибольшие и наименьшие оценки жюри отбрасываются. Предельным случаем усеченных средних является медиана:  Q k| +1 при n = 2 k + 1  , med =  1 | |  2 (Q k + Q k +1 ) при n = 2 k  где

Qk| – результат измерения в упорядоченной выборке.

К усеченным средним близки «винзоризованные» средние QW , в которых крайние члены не отбрасывают, а заменяют на ближайшие к ним из оставшихся членов: n − k −1   QW (α ) = 1n  (k + 1) Q k| +1 + Q n| − k + ∑ Q i|  i=k + 2   Дальнейшая обработка экспериментальных данных остается такой же.

(

)

2.5.3 АЛГОРИТМ ОБРАБОТКИ КВАЛИМЕТРИЧЕСКОЙ ИНФОРМАЦИИ, ПОЛУЧЕННОЙ ПУТЕМ МНОГОКРАТНЫХ ЭКСПЕРТНЫХ ИЗМЕРЕНИЙ С НЕРАВНОТОЧНЫМИ ЗНАЧЕНИЯМИ ПОКАЗАНИЯ

Многократные измерения с неравноточными значениями показания получают при использовании методов А, Д, З, приведенных в пункте 1.1. При обработке экспериментальных данных, полученных путем многократного экспертного измерения с неравноточными значениями показания, учитывается «вес» каждого отдельного значения результата измерения. Для оценки среднего значения результата измерения применяется среднее арифметическое взвешенное: n

Q = ∑ Qi ⋅ g j ,

(7)

i =1

где результат однократного измерения Qi суммируется с весами g i , соответствующими их значимости (ценности). При этом исходят из того, что более точные результаты измерений

Qi являются более важными. Вес каждого отдельного значения результата измерения определяется как величина, обратно пропорциональная дисперсии: gi =

1 . S Q2 i

Веса нормируют так, чтобы их числовые значения находились от 1 до 0. Нормированный вес каждого отдельного значения результата измерения определяется выражением:

gi =

1 S i2

.

n

∑

i =1

(8)

1 S i2

По условию нормировки

n

∑g i =1

i

= 1.

С учетом выражения (8) формула (7) принимает вид:

n

Q =

∑

1 S i2

i =1

⋅Qi

.

(9)

n

∑

i =1

1 S i2

Эта формула действительна, если результат измерения подчиняется нормальному закону распределения вероятности, а дисперсия среднего взвешенного равна: 1 . (10) σ2 = n

∑σ

1

i =1

2 i

2.5.4 АЛГОРИТМ ОБРАБОТКИ КВАЛИМЕТРИЧЕСКОЙ ИНФОРМАЦИИ ПРИ ПАРНОМ МЕТОДЕ И МЕТОДЕ Н

В этом методе объекты сравниваются по значениям показателей качества. При этом лучшие значения показателей качества выделяются знаком (+) или (–). Затем составляется таблица сравнения, подсчитывается количество знаков и на основании подсчета делается вывод о лучшем качестве одного объекта перед другим. Рассмотрим этот случай на примере. Пример. В таблице 7 приведены мнения экспертов о качестве двух объектов. Таблица 7 Эксперты 1-й 2-й 3-й 4-й 5-й 6-й 7-й 8-й

Объекты 1-й объект + + + + +

2-й объект _ + + + -

На основании полученных результатов делается вывод о том, что качество первого объекта лучше, чем второго.

2.5.5 АЛГОРИТМ ОБРАБОТКИ КВАЛИМЕТРИЧЕСКОЙ ИНФОРМАЦИИ ПРИ ОПРЕДЕЛЕНИИ КОМПЛЕКСНОГО ПОКАЗАТЕЛЯ КАЧЕСТВА

При определение комплексного показателя качества обработка экспериментальных данных проводится в несколько этапов. Комплексные показатели качества определяются при применении методов О и Р. Первым этапом обработки квалиметрической информации является определение значимости показателей качества. Наибольшее распространение получили два способа определения весовых коэффициентов показателей качества: методы ранжирования и попарного сопоставления. В свою очередь различают несколько модификаций этих методов. Первый способ ранжирования объектов экспертизы по мере их важности заключается в следующем. 1. Объекты экспертизы располагаются в порядке их предпочтения (ранжирования). Место, занятое при такой расстановке в ранжированном ряду, называется рангом. 2. Наиболее важному, по мнению эксперта, объекту экспертизы приписывается наибольший балл, всем остальным в порядке уменьшения их относительной значимости – баллы до 1. 3. Полученные результаты измерений нормируют, т. е. делят на общую сумму баллов. Полученные, таким образом, весовые коэффициенты принимают значения от 0 до 1, а их сумма становится равной 1. Значения весовых коэффициентов рассчитываются по формуле:

в

таком

случае

n

g

j

=

∑G i =1

m

n

j =1

i =1

i, j

∑ ∑G

, i, j

где G i , j – балл (ранг) j-го показателя, проставленный i-м экспертом;

(11)

n – количество экспертов; m – количество «взвешиваемых» показателей. При обработке результатов экспертиз, полученных ранжированием, необходимо выполнить следующие операции: 1) определить сумму баллов, проставленных всеми экспертами j-му объекту экспертизы (показателю); 2) определить сумму баллов всех объектов экспертизы (показателей), проставленных всеми экспертами; 3) определить весомость или весовой коэффициент j-го объекта экспертизы (показателя). Второй способ ранжирования заключается в том, что объекты экспертизы располагают в порядке их предпочтения. При этом наиболее важному объекту присваивается ранг, равный 1, следующему по важности объекту – ранг 2 и т. д. Если эксперт считает, что весомость двух или более показателей одинакова, то он присваивает им соответственно одинаковые ранги. Показателю, получившему ранг, равный 1, присваивается коэффициент весомости 10. Коэффициенты весомости следующего по важности показателя определяются как доля важности первого показателя, например, второй показатель в два раза менее важнее, чем первый. Тогда весовой коэффициент второго показателя будет равен 5. При определении третьего показателя учитывается его важность по сравнению с первым и вторым показателями. В дальнейшем сравнение производится с первым и любым из сравниваемых показателей. Для назначения весовых коэффициентов используется ряд чисел от 10 до 0 с интервалом 0,5. Такими последовательными действиями эксперт определяет весовые коэффициенты единичных показателей, а затем комплексных показателей качества нижнего уровня. Полученные результаты измерений нормируют по формулам: m m igj ; / / mioj = l goj m igj = p ∑ mg 0 j ∑ m igj i =1

g =1

где m igj/ – нормированный весовой коэффициент i-го показателя качества относительно g-го показателя (1-ый уровень), назначенный j-м экспертом;

migj – весовой коэффициент i-го показателя качества, назначенный j-м экспертом; / – нормированный m ioj

весовой

коэффициент

g-го

показателя относительно качества (0 уровень), назначенный j-м экспертом;

mgoj

–

весовой

коэффициент

g-го

показателя,

назначенный j-м экспертом; Р – число показателей качества, входящих в g-й показатель; L – число показателей качества первого уровня, определяющих качество продукции. Третий способ ранжирования состоит в том, что объекты располагают по мере обладания тем или иным свойством. Если обозначить через xi место (ранг) i-го объекта среди остальных (n-1) объектов, то сумма рангов в этом ряду составит: n n( n + 1) , (12) xi = ∑ 2 i =1 где n – количество ранжируемых объектов. Если эксперты затрудняются присвоить всем объектам различные ранги, они могут приписать двум или более объектам одинаковые ранги, так что общее число различных рангов N будет меньше числа исследуемых объектов n. В этом случае полученную ранжировку приводят к нормальному виду, т. е. к такому виду, при котором выполняется условие (12). Для этого объектам, имеющим одинаковые ранги, приписывают ранг, равный среднему значению мест, которые объекты поделили между собой в ранжировке с совпавшими рангами. Пусть, например, имеется ранжировка семи объектов с тремя различными рангами, т. е. N=3, n=6 (табл. 8).

Таблица 8 Объекты Ранги

i

1 1

xi

2 2

3 3

4 3

5 2

6 3

7 1

Объекты 1-й и 7-й поделили между собой места 1-е и 2-е, поэтому в новой ранжировке этим объектам приписываем одинаковый ранг, равный (1+2)/2=1,5. Объекты 2-й и 5-й поделили между собой места 3-е и 4-е, поэтому мы приписываем им ранг, равный (3+4)/2=3,5. Объекты 3, 4 и 6-й поделили между собой соответственно 5, 6 и 7-е места, так что приписываем им ранг, равный (5+6+7)/3=6. Тогда нормальная ранжировка xi* имеет вид, представленный в таблице 9. Сумма рангов, равна 28, т. е. выполняется условие (12). Таблица 9 Объекты Ранги

i xi*

1 1,5

2 3,5

3 6

В этом случае значения рассчитывается по формуле 11.

4 6 весовых

5 3,5

6 6

7 1,5

коэффициентов

Метод попарного сопоставления

При этом способе эксперт получает матрицу, в которой по вертикали и горизонтали проставлены номера объектов экспертизы (показателей качества). Эксперту необходимо проставить в каждой клетке, относящейся к двум сравниваемым объектам (показателям), номер того объекта (показателя), который он считает наиболее важным. При попарном сопоставлении используется только верхняя часть таблицы. Расчет весовых коэффициентов производится по формуле: g

где

j

=

n

F ij

i =1

n

∑

,

Fi , j – частота предпочтения i-м экспертизы, определяемая как:

(13) экспертом j-го объекта

Fi , j =

K ij C

,

(13.1)

где Ki,j – число предпочтений i-м экспертом j-го объекта экспертизы; С – общее число суждений одного эксперта, связанная с числом объектов экспертизы m соотношением: m ( m − 1) . (13.2) C = 2

Способ полного (двойного) попарного сопоставления

Опыт попарного сопоставления показывает, что в силу особенностей человеческой психики эксперты иногда бессознательно отдают предпочтение не тому объекту экспертизы, который важнее, а тому, который стоит в рассматриваемой паре первым. Чтобы избежать этого, проводят двойное или полное попарное сопоставление. Для этого используют свободную (нижнюю) часть таблицы 3 и проводят попарное сопоставление дважды, например сопоставление первого объекта со вторым, третьим, четвертым и т. д., затем второго с первым, третьим, четвертым … и так до последнего, а потом в обратном порядке: последнего с предпоследним … и до первого; предпоследнего с последним, предыдущим … и вновь до первого. Таким образом, каждая пара объектов сопоставляется дважды, причем в разном порядке и по истечении некоторого времени. При таком сопоставлении иногда удается избежать случайных ошибок, кроме того, выявить экспертов, небрежно относящихся к своим обязанностям или не имеющих определенной точки зрения. Иначе говоря, двойное попарное сопоставление обладает более высокой надежностью, чем однократное Порядок расчетов остается прежним, за исключением C = m ( m − 1) .

(14)

При обработке результатов экспертиз, полученных двойным попарным сопоставлением, выполняются те же операции, что при попарном сопоставлении, за исключением того, что число суждений одного эксперта определяется по формуле (14).

Кроме перечисленных выше способов определения весовых коэффициентов выделяют: способ предпочтения, второй способ попарных сопоставлений и способ последовательных сопоставлений. Второй этап обработки квалиметрической информации при комплексировании – уточнение весовых коэффициентов.

Уточнить результаты измерений или значения весовых коэффициентов, полученных попарным сопоставлением, можно методом последовательного приближения. Первоначальные результаты рассматриваются в этом случае как первое приближение. Во втором приближении они используются как весовые коэффициенты G j ( 2 ) суждений экспертов. Полученные с учетом этих весовых коэффициентов новые результаты в третьем приближении рассматриваются опять как весовые коэффициенты G j (3) тех же мнений экспертов и т.д. Согласно теореме Перрона-Фробениуса, при определенных условиях, которые на практике выполняются, этот процесс сходится, т.е. нормированные

результаты

измерений

g j или

весовые

коэффициенты стремятся к некоторым постоянным значениям, строго отражающим соотношения между объектами экспертизы при установленных экспертами исходных данных. Первый способ уточнения весовых коэффициентов методом последовательного приближения

Этот способ уточнения весовых коэффициентов основан в определении весовых коэффициентов в (ω) приближении как среднее арифметическое взвешенное. В случае обозначений предпочтений эксперта через K j ,i первоначальные

результаты

G

j

(1 )

будут

определяться

формулой: G J (1 ) =

где K

j ,i

m

∑K i =1

ji

,

(15)

– число предпочтений j-го объекта одним экспертом;

G j (1 ) – результат измерения j-го объекта в первом приближении. А результаты измерения в (ω) приближении будут равны: GJ (ϖ ) = G1(ϖ − 1) ⋅ K j1 + G2 (ϖ − 1) ⋅ K j 2 + ... + Gm (ϖ − 1) ⋅ K jϖ , (16) где G j (ω − 1 ) – результат измерения j-го объекта в (ω) приближении. Очевидно, что значения весовых коэффициентов в ω приближении, определяемые как G j (ϖ ) (17) g J (ϖ ) = m ∑ G j (ϖ ) j =1

будут значительно отличаться от значения весовых коэффициентов в 1-м приближении. В ходе уточнения все более подчеркивается предпочтительность одного и низкая значимость другого показателя. Процесс уточнения значений продолжается до тех пор, пока точность не достигнет заданной, т.е. пока не выполнится условие: (18) g j (ω ) − g j (ω − 1 ) ≤ ε , где

ε

– заданная точность вычислений.

Уточнять весовые коэффициенты можно и другими способами, различие их состоит в определении результата измерения в (ω) приближении с использованием различных средних взвешенных [71, 114]. Второй способ уточнения весовых коэффициентов методом последовательного приближения Он отличается от первого тем, что результат измерения в (ω) приближении определяется как среднее квадратическое взвешенное. В этом случае результат измерения в (ω) приближении будет определяться по формуле (19): 2 2 G l , j (ω ) = (G l , j (ω − 1)) ⋅ K l , j ,1 + ... + [G l , m (ω − 1)] ⋅ K l , j , m , (19)

[

где K

j ,i

]

– число предпочтений j-го объекта одним экспертом;

G

j

(ω

− 1 ) – результат измерения j-го объекта в (ω)

приближении. Третий способ уточнения весовых коэффициентов методом последовательного приближения В третьем способе уточнения весовых коэффициентов результат измерения в (ω) приближении определяется как среднее гармоническое взвешенное: . (20) 1 G j (ϖ ) =

K

j ,1

G 1 (ϖ − 1 )

+

K

j,2

G 2 (ϖ − 1 )

+ ... +

K

j ,m

G m (ϖ − 1 )

Третий этап обработки квалиметрической информации – определение комплексного показателя качества

Различают функциональный и субъективные способы образования комплексного показателя качества. Функциональный способ нахождения комплексного показателя качества предпочтительнее, но не всегда возможен, так как получать функциональную зависимость, учитывающую большое количество единичных показателей качества, очень трудно или практически невозможно. Субъективный способ образования комплексного показателя осуществляется по принципу среднего взвешенного. Наибольшее распространение получили четыре средних взвешенных: среднее арифметическое взвешенное (см. формулу 7), среднее гармоническое взвешенное:

~ Q =

m

1 g

∑Q j =1

,

(21)

j j

среднее геометрическое взвешенное:

Q =

m

П

j =1

Q jgj ,

среднее квадратическое взвешенное:

(22)

) Q =

m

∑g j =1

где

g

j

j

⋅ Q 2j ,

(23)

– весовые коэффициенты; Q

j

показателя; m – число единичных показателей

– значение j-го

Qj .

Кроме перечисленных существуют и другие способы комплексирования, в которых не учитываются весовые коэффициенты. Одним из этих способов является получение комплексного показателя в виде:

) Q =

n

∏

Qi

(24)

i =1

где

Qi

– значение i-го показателя качества. В том случае, когда для каждого показателя качества известен «идеал», к которому надо стремиться, можно воспользоваться следующим способом получения комплексного показателя:

Q =

m

∑

j =1

где Qio качества;

 Qi − Q  Q io 

io

  

2

⋅ g

i

,

(25)

– наилучшее (идеальное) значение i-го показателя

Q i – значение i-го показателя качества. Различают еще один способ комплексирования показателей качества. В этом случае, экспертным методом определяют уровень единичных показателей качества: высокий – В; средний – С; низкий – Н. При определении комплексного показателя качества в качестве исходной предпосылки принимают, что при высоком уровне всех единичных показателей качества числовое значение комплексного показателя должно ровняться 1; при среднем уровне всех единичных показателей – 0,5; при низком

уровне единичных показателей – 0. В этом случае значение комплексного показателя определяют по формуле: ( Hc n , Q = 1 − H − 0 ,5 n n

(26)

где nH и nC – число единичных показателей низкого и среднего уровня соответственно; n – число комплексируемых единичных показателей. Если же весомости единичных показателей различны, тогда значение комплексного показателя качества определяют по следующей формуле:

( Q =1−

mC

mH

∑g j =1

H

j

− 0 ,5 ∑ g C j

(27)

j =1

где mH и mC – число показателей низкого и среднего уровня соответственно;

g H j и g C – нормированный вес единичного показателя j

качества низкого и среднего уровня соответственно, а требования нормировки сводятся к тому, чтобы сумма весов всех единичных показателей качества равнялась единице. Иногда в комплексных показателях низкие значения одних единичных показателей могут компенсироваться высокими значениями других. Такая компенсация недопустима. Для исключения такой возможности комплексный показатель качества умножают на так называемый коэффициент вето ϕ (Qj ) . Например: Q ϕ = ϕ ( Q где

j

( ) ⋅Q ,

Q ϕ – среднее взвешенное арифметическое с учетом

коэффициента вето.

ϕ ( Q j ) – коэффициент вето.

Коэффициент вето – это функция, которая при выходе любого из важнейших единичных показателей за допустимые (установленные нормативно-технической документацией) пределы обращается в нуль. Во всех остальных случаях коэффициент вето ϕ (Q j ) остается равным единице. Формально это записывается так:  1, если Q j ,min ∠Q j ∠Q j ,max для всех i = 1...n; ϕ (Q j ) =  0, если Q ∠Q j , max j , min хотя бы для одного i. 

Из-за коэффициента вето комплексный показатель качества падает до нуля, если хотя бы один из важнейших единичных показателей оказывается неприемлемым. По результатам комплексирования показателей качества определяется высокое качество одних объектов перед остальными. Если комплексный показатель одного объекта больше, чем комплексный показатель другого, то делается вывод о том, что качество первого выше, чем второго. Обычно на этом заканчивается обработка экспериментальных данных. Можно ли считать такое решение правильным? Если значения комплексных показателей качества значительно отличаются друг от друга, то с высокой вероятностью можно сказать, что решение принято правильно. А если нет, то решение может быть как правильным, так и неправильным. В этом случае необходимо проверить качество принятия решения. Итак, следующим этапом обработки экспериментальных данных является проверка правильности принятия решений. 2.6 ПРОВЕРКА ПРАВИЛЬНОСТИ ПРИНЯТИЯ РЕШЕНИЙ

В зависимости от числа измеряемых параметров и методов получения квалиметрической информации качество решений может быть проверено по различным критериям. Поэтому возникает задача выбора критериев принятия решений.

2.6.1 ВЫБОР КРИТЕРИЕВ ПРИНЯТИЯ РЕШЕНИЙ ПРИ ОПРЕДЕЛЕНИИ КОЛИЧЕСТВЕННЫХ ЗНАЧЕНИЙ ПОКАЗАТЕЛЕЙ КАЧЕСТВА

Случай 1. Качество объектов определяется по одному доминирующему показателю. В этом случае такая проверка может быть осуществлена методами дисперсионного анализа. Если качество продукции определяется по одному доминирующему показателю, то соответствующий критерий называется однофакторным дисперсионным анализом, если по нескольким, то – многофакторным дисперсионным анализом. Идея однофакторного дисперсионного анализа заключается в разбиении общей дисперсии случайной величины Q на два независимых слагаемых: факторную дисперсию, 2

порожденную воздействием исследуемого фактора S фак ,

и

остаточную дисперсию, обусловленную неучтенными и 2 случайными факторами – S ост . Необходимо иметь в виду, что в случае применения однофакторного дисперсионного анализа результат измерения случайной величины Q разбивается в зависимости от степени действия (уровня) некоторого фактора на группы. Поэтому иногда факторную дисперсию называют междугрупповой, а остаточную – внутригрупповой. Значимость расхождения средних значений в группах проверяют по критерию Фишера:

F=

2 S фак 2 S ост

.

В основе дисперсионного анализа лежит следующее предположение. С целью изучения влияния некоторого параметра А на некоторый результативный признак результаты измерений разбивают на k групп по ni измерений в каждой группе. Результаты измерений Qij

(i = 1, 2 ,..., k ;

j = 1, 2 ,..., n j )

рассматривают как выборки из генеральных совокупностей. Оценки среднего Q j и дисперсии σ 2j хотя неизвестны, но

предполагается, что σ 12 = σ 22 = ... = σ k2 . Результаты измерений представляют слагаемых:

в

виде

двух

Qij = Qi + ε ij где

Qi – математическое ожидание случайной величины Qi ;

ε ij

– случайная ошибка, характеризующая влияние на

результат

Qij

неучтенных и случайных факторов.

Если по выборочным данным определены: а) групповые средние арифметические 1 ni Qi = ∑ Q i , j , (i = 1,2,..., k ) ; n i j =1 б) общая средняя арифметическая 1 n

Q =

где n =

k

∑n i =1

i

k

ni

j =1

i =1

∑ ∑

Q ij ,

.

На основе имеющейся информации требуется проверить

( ( ( Н 0: Q1 = Q2 = ... = Qn . Альтернативная ( ( ( гипотеза Н a: Q1 ≠ Q2 ≠ ... ≠ Qn состоит в том, что не все нулевую гипотезу

математические ожидания равны между собой. Проверка нулевой гипотезы состоит в определении выборочной статистики:

(

)

2 1 k Qi − Q ⋅ ni ∑ k − 1 i =1 . F= 1 k ni 2 ∑∑ (Qij − Qi ) n − k i =1 j =1

(28)

Если гипотеза верна, то выборочная статистика имеет - распределение с ν 1 = k − 1 и ν 2 = n − k степенями свободы.

F

Вычисленное наблюдаемое значение критерия F сравнивается с критическим значением Fα ,ν 1 ,ν 2 , найденное по

таблицам квантилей F - распределения по заданному уровню значимости α и числу степеней свободы ν 1 и ν 2 . Если Fнабл ≥ F α ,ν 1 ,ν 2 , то нулевая гипотеза отвергается, и наоборот. Отклонение нулевой гипотезы является статистическим доказательством влияния фактора А на математическое ожидание случайной величины Q . Пример. Исследовалось влияние внешнего вида упаковки некоторого изделия на покупательскую способность по дням. Получены следующие результаты измерения, которые представлены в табл. 10. Предполагается, что количество проданных изделий, имеющих различный внешний вид, подчиняется нормальному закону распределения вероятности, причем σ 12 = σ 22 = σ 32 .

( ( ( Н 0: Q1 = Q2 = ... = Qn – количество проданных изделий не зависит от внешнего вида; ( ( ( Н a: Q1 ≠ Q2 ≠ ... ≠ Qn – количество проданных изделий зависит от внешнего вида. Вычислим вспомогательные величины, необходимые для составления таблицы дисперсионного анализа: n = n1 + n2 + n3 = 5 + 6 + 6 + 17 ;

(575 + 1020 + 876 ) = 2471 = 145,35 ;

Q = n1

∑ (Q j =1

17

ij

− Q1 ) = 250 ;

1 110 120 105 115 125

ni

ij

i =1 j =1

3 150 145 147 153 142 139

Предполагается, что количество проданных изделий, имеющих различный внешний вид, подчиняется нормальному закону распределения вероятности, причем σ 12 = σ 22 = σ 32 . Проверить методом дисперсионного анализа нулевую гипотезу ( ( ( Н 0: Q1 = Q2 = ... = Qn (количество проданных изделий не зависит от внешнего вида упаковки). Уровень значимости α = 0,05 . Согласно условию, нулевая и альтернативная гипотезы имеют вид:

(Q −Q ) ⋅ n 2

1

∑ (Q n2

j =1

∑ ∑ (Q Внешний вид 2 160 165 172 163 185 175

17

2

k

Таблица 10 Покупательская способность Количество проданных изделий за день

1020 876 575 = 170 ; Q3 = = 146 . = 115 ; Q 2 = 6 6 5

Q1 =

1

∑ (Q

i

− Q2 ) = 428 ;

∑ (Q n3

j =1

ij

− Q3 ) = 132; 2

− Qi ) = 810 ; 2

(

= 4605,61 ; Q 2 −Q

k

i =1

ij

2

−Q

) ⋅n 2

2

(

)

2

= 3645,73 ; Q 3 −Q ⋅ n3 = 0,735;

) ⋅ n = 8252,07 . 2

i

Составим таблицу дисперсионного анализа (табл. 11). Вычисленное наблюдаемое значение Fнабл сравниваем с критическим Fα ,ν 1 ,ν 2 , найденным по таблицам квантилей F -

распределения по заданному уровню значимости α и числу степеней свободы ν 1 = 2 и ν 2 = 14 . Это значение равно Fα ,ν 1 ,ν 2 = 3, 739 . Так как Fнабл = 71 ,32 больше Fα ,ν 1 ,ν 2 = 3 , 739 , то нулевая гипотеза отвергается, т.е. считается доказанным, что покупательская способность зависит от вида упаковки. В случае определения качества двух объектов для проверки правильности принятия решения могут быть применимы различные статистические критерии, как u - критерий, t критерий и ранговые критерии.

Таблица 11 Источник Сумма Число Дисперсии Наблюдаемое изменчивости квадратов степеней значение Fкритерия свободы Вид упаковки 8252,07 2 4126,035 71,32 (между группами) Остаточная 810 14 57,85 (внутри групп) Полная изменчивость Сформулируем гипотезу: Н 0: Q1 = Q2 – качество объектов одинаковое. Альтернативная гипотеза: Н a: Q1 ≠ Q2 – качество объектов различное. 1) u - критерий:

u =

Q1 − Q 2 σ 12 n1

+

σ 22

.

(29)

n2

Для проверки этой нулевой гипотезы задаются уровнем значимости α . По таблицам стандартизованного нормального распределения, по заданному уровню значимости α находят критическое значение u α 2 . Если наблюдаемое значение u набл < u α

2

, то нет оснований отклонения нулевой гипотезы.

Другими словами, считается статистически доказанным, что качество объектов одинаковое. 2) t - критерий: Q1 − Q 2 . (30) t =

n 1 S 12 + n 2 S 22 n1 + n 2 − 2

 1 1  +  n1 n 2

  

Если нулевая гипотеза справедлива, то выборочная статистика имеет распределение Стьюдента с ν = n1 + n 2 − 2

степенями свободы. Для проверки нулевой гипотезы вычисляют наблюдаемое значение t - критерия и задаются уровнем значимости α . По таблицам квантилей распределения Стьюдента, по заданному уровню значимости α и по числу степеней свободы ν = n1 + n 2 − 2 находят критические точки

tα 2

, n1 + n 2 − 2

. Если при этом окажется t набл < t α 2

, n1 + n 2 − 2

, то

нет оснований для отклонения нулевой гипотезы. 3) Ранговые критерии Применяются, при отсутствии информации о виде закона распределения вероятности и в том случае, если наблюдения только упорядочены. К числу таких критериев относятся: критерий знаков и критерий серий. Критерий знаков применяется как критерий сравнения «спаренных» наблюдений. Его можно применять для сравнения уровня знаний в двух группах, для сравнения двух типов приборов, двух методов измерений и т.д. Для проверки нулевой гипотезы с помощью критерия знаков исследуют знаки разностей «спаренных» выборок и находят число тех знаков, которых меньше. Это число обозначают буквой r. Если rнабл ≤ rα , то нулевая гипотеза отклоняется, если же

rнабл > rα , считается, что нет основания для отклонения нулевой гипотезы. Значения rнабл находят по таблице критических значений числа знаков по заданному уровню значимости α и объему выборки n. Критерий знаков можно применять для проверки правильности решений, полученных парным методом и методом М. Критерий серий (проверка знаковой последовательности на случайность). Выдвигаются две гипотезы – нулевая и альтернативная. Нулевая гипотеза Н 0 : элементы (>) и (<) расположены случайно. Альтернативная гипотеза Н а : в расположении элементов (>) и (<) наблюдается закономерность, т. е. более закономерно появление более длинных серий из элементов какого-либо типа, например (<).

Для проверки нулевой гипотезы определяют число элементов одного вида – m и n . Части последовательности, состоящие из элементов одного вида, называются сериями. Если в последовательности появление всех возможных вариантов m

элементов С m + n равновероятно, то элементы (>) и (<) в последовательности расположены случайно. Для больших n ν =m+n m значений и распределение аппроксимируется нормальным распределением со средней M и дисперсией D : 2mn ; (31) M = 1+ m+n 2mn(2mn − m − n ) . (32) D= (m + n )2 (m + n − 1) Статистика критерия определяется выражением: ν − M + 0,5 , (33) t набл = D где 0,5 – поправка на непрерывность. Если наблюдаемое значение статистики

t набл < t кр , то

считается, что нулевая гипотеза подтверждается [4]. В работе [114] рассмотрено применение данного критерия на примере. Допустим, что при оценке уровня подготовки специалистов по специальностям А и В путем анкетирования получены следующие результаты, представленные в таблице 12. Таблица 12 – Уровень подготовки специалистов 1 2 3 4 5 6 7 8 А > < > > < < > > Б < > < < > > < < 12 13 14 15 16 17 18 19 А > > < < < > > < Б < < > > < < < >

9 > < 20 < >

10 < > 21 < >

11 < > 22 < >

В ней знаком (>) отмечен достаточный (качественный) уровень подготовки специалиста.

Здесь мы имеем по специальности А последовательность знаков: > < > > < < > > > < < > > < < < > > < < < <, состоящую из m =10 элементов (>) и n =12 элементов (<). В нашем случае общее число измерений N =22, число серий ν = 11 , число знаков (>) 10, число знаков (<) 12. Следовательно, M = 1+

D=

2 ⋅ 10 ⋅ 12 = 11,9 , 10 + 12

2 ⋅ 10 ⋅ 12(2 ⋅ 10 ⋅ 12 − 10 − 12 )

(10 + 12 )2 ⋅ (10 + 12 − 1)

= 5,147 .

11 − 11,9 + 0,5 = −0,176 . 2,268 Задаваясь уровнем значимости α = 0,05 , по таблицам функции Лапласа находим критическое значение t кр = 1,96 . Так

Вычисленная статистика t набл =

как t набл = ─ 0,176<1,96, то нулевая гипотеза подтверждается. Другими словами, считается статистически доказанным, что расположение элементов случайное, т. е. уровень подготовки специалистов по специальностям одинаковое. Случай 2. Качество объектов определяется по нескольким показателям. В этом случае для проверки правильности принятия решений может быть применен многофакторный дисперсионный анализ (см. пп. 2.4.1.1., 2.4.1.2). 2.6.2 ВЫБОР КРИТЕРИЕВ ПРИНЯТИЯ РЕШЕНИЙ ПРИ ОЦЕНКЕ ЭКВИВАЛЕНТНОСТИ ОБЪЕКТА К КЛАССУ ЭКВИВАЛЕНТНОСТИ

При оценке принадлежности объекта к классу эквивалентности возникает задача выбора критериев принятия решений. К числу таких критериев относятся критерий НейманаПирсона, проверка отношения правдоподобия, критерий среднего риска, минимаксный критерий, критерий идеального наблюдателя [145] . При оценке принадлежности объекта к классу эквивалентности выдвигаем две альтернативные гипотезы: 1) нулевая гипотеза – объект относится к классу эквивалентности; 2) альтернативная гипотеза – объект не относится к классу эквивалентности;

В этом случае нулевая и альтернативная гипотезы запишутся следующим образом: Н a : Q ≥ Qп ; 1) Н 0 : Q < Q п 2) Н

0

Н

0

3)

: Q >Qп

: Q0
Н
a

: Q ≤ Qп ;

Н

a

: Q > Q 01 и

Q
p э (Q ) =

2π ⋅ σ

⋅e

−

(Q )2 2σ

2 Q

;

Q

2) если объект экспертизы принадлежит к альтернативному классу, то значения измеряемого параметра подчиняются нормальному закону распределения вероятности: (Q − Q )2 − 1 2 σ Q2 . p a (Q ) = ⋅e 2π ⋅σ Q Тогда δ =

верной нулевой гипотезы Н 0 ; 2) ошибка второго рода, заключающаяся в принятии ложной гипотезы Н 0 . Выбор критериев принятия решений зависит от ограничений на условную вероятность ошибки первого и второго рода. При ограничениях на ошибки первого рода применяется критерий Неймана-Пирсона, при отсутствии ограничений на ошибки первого и второго рода необходимо проверить отношение правдоподобия, а при ограничениях на ошибки второго рода правило принятия решения формулируется аналогично критерию Неймана-Пирсона. При ограничениях на вероятность ошибки первого и второго рода можно применять критерий минимума среднего риска. Критерий Неймана-Пирсона Правилj принятия решений, в котороt вводятся ограничения на ошибки первого рода, называется критерием Неймана-Пирсона. Алгоритм определения оптимального допустимого плана при ограничениях на условную вероятность ошибки первого рода определяется при следующих допущениях: 1) если объект экспертизы принадлежит к классу эквивалентности, то значения измеряемого параметра подчиняются нормальному закону распределения вероятности:

1

∞

∫

Q

α =

р

а

р

э

п

∞

∫

Q

(Q )dQ

п

(Q )dQ

 Q п − Q 1 − L  2σ 2 2 Q   Qп  1  . = − L σ 2  2 Q   =

   

При заданном значении α и α 0 получим уравнение:  Q п − Q   = 0 ,5 − α L   σ Q  

0

.

Задаваясь значением (0 , 5 − α 0 ) , по таблицам функции Лапласа находим соответствующие значения аргумента  Qп − Q    ,   σ Q  

откуда находим значение решающей функции

Qп . При ограничениях на условную вероятность ошибки второго рода алгоритм определения оптимально допустимого плана аналогичен вышеизложенному. Проверка отношения правдоподобия В случае, когда ограничения на ошибки первого и второго рода не вводятся, правило принятия решения и выбора порогового значения сводится к проверке отношения правдоподобия. Отношением правдоподобия называется отношение двух функций:

р а (Q ) . (34) p э (Q ) Решение принимается по правилу: – если λ < λ 0 , то объект принадлежит к классу эквивалентности; – если λ ≥ λ 0 , то объект относится к альтернативному классу. Решающая функция λ 0 определяется по формуле:

λ=

λ0 =

рэ , ра

(35)

где р э – априорная вероятность того, что объект принадлежит к классу эквивалентности; р а – априорная вероятность того, что объект принадлежит к альтернативному классу. Рассмотрим алгоритм определения оптимально допустимого плана при отсутствии ограничении на ошибки первого и второго рода. С учетом выражений (34) и (35) отношение правдоподобия запишется следующим образом:

λ=

ра (Q ) =е pэ (Q )

−

(Q−Q )2 + Q2 2σ Q2

2σ q2

=e

Q2 Q 1  −  σ Q2  Q 2 

.

Q2 Q 1   −  σ Q2  Q 2 

<λ0 . (36) Приравняв левые и правые части неравенства, находим значение параметра решающей функции:

Qп = λ0

σ Q2 Q

+

1 Q. 2

Q , n , удовлетворяющих условию

Qп , образуют такое же количество допустимых планов измерений. Оптимально допустимым из этого множества будет ) план, у которого n = n , удовлетворяющих условию σ Q2 ≤ σ 02 .

Критерий минимума среднего риска Этот критерий имеет вид:

R = g1α Pг + g 2 β Pб = min (38) где g1 и g 2 – цена ошибки первого и второго рода соответственно; α и β – условные вероятности ошибок первого и второго рода соответственно; Рг и Рб – априорные вероятности того, что изделие является годным и бракованным соответственно. Частным случаем критерия среднего риска является критерий идеального наблюдателя: R = α Pг + β Pб = min , (39) где g1 = g 2 =1. По критерию минимума среднего принимается по правилу: – если λ ≥ λ0 , то изделие бракуется;

риска

решение

– если λ < λ0 , то изделие принимается.

Тогда правило принятия решений λ < λ 0 примет вид:

e

Множество цепочек

(37)

Пороговое значение λ0 определяется по формуле:

λ0 =

g1 Pг . g 2 Pб

(40)

Минимаксный критерий

Минимаксный критерий применяют тогда, когда не известны априорные вероятности Рг и Рб . Суть критерия заключается в том, чтобы минимизировать максимально возможный средний риск. Средний риск, определяемый выражением (38), находится в пределах от 0 до 1 и имеет максимум при некотором значении Pσ* = 1 − Pг* , не равном

нулю, ни единице. Обозначив это значение через Rmax , определяют соответствующее ему пороговое значение отношения правдоподобия:

g1 Pг* λ = . g 2 Pσ* * 0

(41) * σ

Действительный риск при любом Рσ , отличном от Р , меньше Rmax , подсчитанного для λ0 = λ0* . Это решение является наилучшим в этом наихудшем случае.

Выводы При определении качества решений задач первого типа, то есть определении количественных значений показателей качества, могут быть применены статистические критерии о равенстве средних, ранговые критерии или дисперсионный анализ. При определении качества решений задач второго типа, то есть определении принадлежности объекта к классу эквивалентности, целесообразно применять критерий НейманаПирсона, проверка отношения правдоподобия, критерий среднего риска, минимаксный критерий, критерий идеального наблюдателя.

3 АТТЕСТАЦИЯ АЛГОРИТМОВ ОБРАБОТКИ КВАЛИМЕТРИЧЕСКОЙ ИНФОРМАЦИИ 3.1 ПОСТАНОВКА ЗАДАЧИ АТТЕСТАЦИИ АЛГОРИТМОВ ОБРАБОТКИ КВАЛИМЕТРИЧЕСКОЙ ИНФОРМАЦИИ

Широкое применение экспертных методов в различных областях, следовательно, многообразие измерительных задач, решаемых с помощью экспертных методов, обуславливает необходимость использовать разнообразные алгоритмы обработки квалиметрической информации. Разнообразие алгоритмов вызывает существенные затруднения пользователей при выборе конкретного алгоритма для решаемой измерительной задачи. Кроме того, сложившееся многообразие алгоритмов постоянно расширяется. С одной стороны, появляются новые алгоритмы (или чаще модификации ранее известных алгоритмов), которые оптимальны по определенным критериям при строго заданных условиях на исходные данные. При этом обычно считается неясным, как ведут себя эти алгоритмы при других, даже близких условиях. С другой стороны, резко возрастает количество практически ориентированных работ, в которых возникает новый алгоритм, как правило, из эвристических соображений. Все это усложняет задачу обеспечения единства экспертных измерений, так как свойства алгоритмов обработки результатов экспертиз наряду со свойствами исходных данных оказывают существенное влияние на конечный результат. Обеспечению единства измерений как за рубежом, так и в нашей стране уделялось и уделяется большое внимание. Примером тому служит принятие закона «Об обеспечении единства измерений». Разработаны правовая, нормативная и техническая базы обеспечения единства измерений. Однако все эти мероприятия направлены на обеспечение единства инструментальных измерений. В области же обеспечения единства экспертных измерений нет ни одного законодательного акта или нормативного документа, кроме стандарта ГОСТ 5216 «Методы определения сенсорных способностей дегустаторов», регулирующего деятельность по организации и проведению

экспертных измерений. В данном стандарте указываются только методы определения сенсорных способностей дегустаторов, а как определять и повышать качество экспертной группы не установлено. Невозможно обеспечить единообразие обработки результатов экспертиз, так же как и единообразие обработки экспериментальных данных при измерениях путем установления для каждого вида задач одного или нескольких типовых алгоритмов. Все это обусловливает необходимость исследования алгоритмов обработки квалиметрической информации, для выявления возможности их использования в измерительных задачах. Для исследования алгоритмов квалиметрической информации целесообразно вводить показатели качества алгоритмов, дающие наглядное представление об области применения и свойствах алгоритмов. Указанные показатели естественно необходимо определять применительно к типовым моделям исходных данных. Исследование алгоритмов обработки на типовых моделях исходных данных с целью определения основных характеристик (показателей качества) алгоритмов принято называть аттестацией алгоритмов. В целом проблему аттестации алгоритмов обработки квалиметрической информации целесообразно решать как общеметрологическую, используя опыт аттестации алгоритмов обработки экспериментальных данных, полученных инструментальным методом, алгоритмов построения функциональных зависимостей, а также алгоритмов определения экстремумов сигналов в измерительной технике. Важнейшей отличительной особенностью аттестации алгоритмов является многовариантность критериев качества алгоритмов и моделей исходных данных для группы алгоритмов. Для группы алгоритмов определяют несколько показателей на наборе моделей исходных данных. Идеология аттестации алгоритмов существенно иная, чем оптимизация, когда выделяют наилучший алгоритм для заданного критерия качества алгоритма при фиксированной модели исходных данных. Аттестация не выделяет «наилучший» алгоритм,

оптимальный по всем критериям. Для различных критериев или моделей исходных данных преимущества имеют разные алгоритмы. Свидетельства об аттестации алгоритмов в наглядной и компактной форме представляют исследователю исходную информацию для их сопоставления и выбора. Аттестация алгоритмов обработки квалиметрической информации должна проводиться применительно к однородной группе алгоритмов, предназначенных для решения одних и тех же задач. Так можно выделить: алгоритмы определения весовых коэффициентов; алгоритмы уточнения весовых коэффициентов; алгоритмы комплексирования показателей качества. Для выделенной группы алгоритмов при аттестации необходимо придерживаться следующей последовательности действий: – выбрать показатели качества (характеристики) П1, П2, … Пn, которые следует применять при аттестации алгоритмов в данной группе и обоснованном выборе алгоритмов; – выбрать типовые модели исходных данных,

µ 2 , … µ n , при поступающих на вход алгоритма: µ 1 , которых вычисляют его показатели; – вычислить значения показателей качества на типовых моделях исходных данных: πij (α) = Пi α, µ j , или найти

(

)

выражения для показателей через исходные параметры. Указанную последовательность действий принято рассматривать как общую схему аттестации алгоритмов. Результаты аттестации алгоритмов должны представляться в виде матрицы П(α ) = π ij (α ) , в которой приводят значения или выражения основных показателей качества алгоритмов. В дальнейшем указанная схема может быть конкретизирована для различных групп алгоритмов. Основная цель аттестации алгоритмов квалиметрической информации – обеспечение единообразия обработки квалиметрической информации при экспертных измерениях и снижение трудоемкости работ по исследованию и выбору алгоритмов. При аттестации алгоритмов наиболее важным является формирование показателей качества алгоритмов.

3.2 ПОКАЗАТЕЛИ КАЧЕСТВА АЛГОРИТМОВ ОБРАБОТКИ КВАЛИМЕТРИЧЕСКОЙ ИНФОРМАЦИИ

Показатели качества алгоритмов необходимо выбирать так, чтобы наиболее полно выявить свойства алгоритмов и область их применения. Поскольку в экспертных методах в качестве исходных данных принимаются мнения экспертов, то на конечный результат влияет качество, как отдельного эксперта, так и экспертной комиссии в целом. Поэтому целесообразно изучать влияние квалификации как отдельно каждого эксперта, так и экспертной комиссии в целом на алгоритмы обработки квалиметрической информации. Основными характеристиками, характеризующими качество экспертной комиссии и отдельного эксперта, являются согласованность мнений экспертов и изменение мнения отдельного эксперта под воздействием различных факторов. Следовательно, очень важно исследовать влияние изменения мнений экспертов на результаты экспертиз и влияние изменения согласованности мнений экспертов на результаты экспертиз, так как невозможно собрать экспертную комиссию с полной согласованностью мнений. Кроме того, с ростом числа экспертов в группе точность измерения должна повышаться. Это фундаментальное свойство многократного измерения. Однако с ростом числа экспертов может увеличиваться и разброс мнений, поэтому немаловажно исследовать влияние изменения количества экспертов на результаты экспертизы. Для полного исследования алгоритмов необходимо установить показатели, характеризующие сложность алгоритма. На основе анализа различных факторов, влияющих на результаты экспертиз, были разработаны четыре основные группы показателей качества алгоритмов квалиметрической информации: ─ показатели устойчивости, характеризующие степень влияния изменений мнений экспертов на результаты квалиметрической информации; ─ показатели чувствительности к качеству исходных данных, характеризующие степень влияния согласованности мнений экспертов на результаты квалиметрической

информации; ─ показатели эффективности, характеризующие влияние изменений количества экспертов на результаты квалиметрической информации; ─ показатели сложности, отражающие вычислительные затраты при использовании алгоритма. К показателям устойчивости следует относить показатели устойчивости к изменениям мнений экспертов на противоположное и показатель чувствительности к приращениям мнений экспертов. В качестве основных показателей чувствительности к качеству исходных приняты показатель чувствительности к приращениям согласованности мнений экспертов и показатель чувствительности к изменениям согласованности мнений экспертов. Показатель эффективности целесообразно определять при изменении числа экспертов в сторону увеличения или уменьшения. Основными характеристиками сложности являются показатели вычислительной сложности, которые определяются числом типовых операций ─ арифметических (сложения и умножения) и логических (сравнения и др.), необходимых для однократного выполнения по данному алгоритму. Применительно к программным реализациям вводят показатель временной сложности программы, определяемый как время работы программы при однократном выполнении на ЭВМ, а также показатель емкостной сложности, определяемый как объем памяти ЭВМ, необходимой для работы программы. Для алгоритмов уточнения весовых коэффициентов в качестве основного показателя качества принят показатель сходимости алгоритма, характеризующий точность алгоритма уточнения результатов экспертиз. Предложенные показатели качества вычисляют на типовых моделях исходных данных или используют имитационное моделирование. При аттестации алгоритмов типовые модели исходных данных устанавливают на основе предварительных представлений и накопленных сведений о свойствах исходных данных с тем, чтобы полнее выявить свойства алгоритма и область его применения. Набор

типовых моделей, с одной стороны, должен быть достаточно простым, допускающим простые аналитические представления и несложное моделирование, с другой модели должны достаточно полно отражать типичные для данной задачи ситуации, с третьей ─ модели должны охватывать крайние (критические) ситуации, поведение алгоритма в которых позволяет очертить область его работоспособности. Иногда целесообразно использовать такие типовые модели, которые являются в определенных отношениях «наилучшими», «наихудшими» и «средними». Например, в качестве «наилучшей» типовой модели можно использовать исходные данные, при которых коэффициент конкордации равен единице, в качестве «средней» типовой модели ─ исходные данные, при которых коэффициент конкордации равен 0,75. Аттестацию алгоритмов на типовых моделях исходных данных можно дополнить исследованием алгоритмов на реальных данных. Однако вопрос о «типичности» таких данных является, как правило, спорным. Поэтому целесообразно использовать имитационное моделирование, при котором можно моделировать всевозможные сочетания мнений экспертов при количестве экспертов n и количестве показателей m. При этом желательно количество измеряемых показателей брать не более семи, так как считается, что человеческий мозг не в состоянии одновременно анализировать более семи свойств, а количество экспертов может колебаться от семи до двадцати, в зависимости от точности измерительной задачи. Основные характеристики алгоритмов квалиметрической информации представлены в табл. 13. Применительно к конкретным группам алгоритмов они могут быть уточнены и дополнены. Следует отметить, что набор показателей качества алгоритмов является открытым, т. е. допускает присоединение новых показателей качества, полезных для описания алгоритма в соответствии с конкретным содержанием измерительной задачи. Определение показателей качества на типовых моделях исходных данных считается наиболее трудоемким этапом аттестации алгоритмов. Существуют два основных способа определения показателей качества: аналитический метод и

имитационное моделирование. Таблица 13 ─ Основные показатели качества алгоритмов обработки квалиметрической информации Группа показателей Показатели устойчивости Показатели чувствительности Показатели эффективности Показатель сходимости Показатели сложности

Конкретные показатели качества 1. Показатели устойчивости к изменениям мнений экспертов на противоположное 2. Показатели чувствительности к приращениям мнений экспертов 1. Показатели чувствительности к приращениям согласованности мнений экспертов 2. Показатели чувствительности к изменениям согласованности мнений экспертов 1. Показатели эффективности при увеличении числа экспертов 2. Показатели эффективности при уменьшении числа экспертов 1. Показатель сходимости 2. Устойчивость 1. Арифметическая сложность 2. Временная сложность 3. Емкостная сложность

Аналитический метод является наиболее предпочтительным, так как позволяет получать значения показателей качества в аналитическом виде, т. е. в виде явных функций от параметров типовых моделей исходных данных. При имитационном моделировании многократно выполняют следующие операции: задают конкретные значения параметров исходных данных, моделируют набор исходных данных, применяют исследуемый алгоритм к полученным исходным данным и получают отдельный результат. Описанную процедуру повторяют многократно – десятки, сотни, тысячи раз, в итоге получают серию результатов измерений. В результате обработки результатов измерений находят значения показателей качества алгоритмов. Метод моделирования имеет то преимущество, что не зависит от сложности аналитических выражений. Однако процедура моделирования отличается

трудоемкостью и громоздкостью.

Выводы 1. Единообразие и эффективность обработки квалиметрической информации при экспертных измерениях целесообразно обеспечить на основе аттестации алгоритмов обработки квалиметрической информации, понимаемой как определение основных показателей качества алгоритмов. 2. Аттестация алгоритмов квалиметрической информации как процедура определения основных показателей алгоритмов включает выбор наборов показателей качества алгоритмов и типовых моделей исходных данных, определение значений показателей качества на типовых моделях исходных данных. В зависимости от целей аттестации различают две разновидности аттестации – исследовательскую и метрологическую. 3. Наборы показателей качества алгоритмов включают показатели устойчивости, показатели чувствительности, показатели эффективности и показатели сложности. Конкретные наборы показателей качества алгоритмов формируют в зависимости от групп алгоритмов и целей аттестации. 4. Наборы типовых моделей исходных данных используемых при аттестации, включают всевозможные сочетания мнений экспертов при количестве экспертов n и количестве показателей m, а также оценок показателей качества в зависимости от выбранной шкалы измерения. 5. При определении показателей качества алгоритмов обработки квалиметрической информации используются аналитические методы и методы имитационного моделирования, а также их комбинации. 3.3 АТТЕСТАЦИЯ АЛГОРИТМОВ ОПРЕДЕЛЕНИЯ ВЕСОВЫХ КОЭФФИЦИЕНТОВ

В зависимости от измерительной задачи разработаны различные алгоритмы определения весовых коэффициентов. Анализ существующих способов определения весовых коэффициентов показывает, что наибольшее распространение получили три способа: ранжирования, попарного сопоставления и двойного (полного) попарного сопоставления. Они отличаются

как подходами к постановке вопросов, на которые отвечают эксперты, а также проведением экспериментов и обработкой результатов экспертиз. Поэтому исследовались алгоритмы определения весовых коэффициентов, используемые при вышеуказанных способах. 3.3.1 НОМЕНКЛАТУРА ПОКАЗАТЕЛЕЙ КАЧЕСТВА АЛГОРИТМОВ ОПРЕДЕЛЕНИЯ ВЕСОВЫХ КОЭФФИЦИЕНТОВ

Показатели качества алгоритмов устанавливают так, чтобы наиболее полно выявить свойства алгоритма и область его применения в рамках определенной измерительной задачи. Применительно к алгоритмам определения весовых коэффициентов наибольший интерес представляют показатели, определяющие точность полученных результатов. В свою очередь точность результатов зависит от качества, как отдельного эксперта, так и экспертной комиссии в целом. Однако, как отмечалось выше, для эффективного использования алгоритма на практике существенны и другие показатели, характеризующие его эффективность и трудоемкость. В результате для алгоритмов определения весовых коэффициентов были выбраны следующие группы показателей качества: ─ показатели устойчивости, характеризующие степень влияния изменений мнений экспертов на результат вычислений; ─ показатель чувствительности к качеству исходных данных, характеризующий степень влияния согласованности мнений на результат вычислений; ─ показатель эффективности, характеризующий качество результатов измерений от численности экспертов; ─ показатели сложности, характеризующие трудоемкость решения задачи при однократном использовании данного алгоритма. В качестве основных показателей устойчивости приняты показатель устойчивости при изменении мнений экспертов на противоположное и показатель чувствительности к приращениям мнений экспертов. Показатель устойчивости при изменении мнений экспертов на противоположное П11(а) в общем случае является функцией влияния от параметра ξ :

(42) П11 (a) = f (ξ ) где ξ ─ количество измененных мнений. В качестве меры устойчивости было принято изменение весового коэффициента при изменении мнений экспертов: (43) ∆gξ = g jн − g jn , где g jн и g jn ─ весовой коэффициент j-го показателя после первоначального проведения экспертизы и изменения мнений экспертов соответственно. В простейшем случае показатель устойчивости может быть определен при изменении мнений одного эксперта. Показатель чувствительности к приращениям мнений экспертов П12(а) характеризует степень влияния приращения мнений экспертов на результат вычислений. В качестве меры чувствительности к приращениям мнений экспертов был принят дифференциал:

∆gδ =

∂g j

∂Gij

.

(44)

Показатель чувствительности к качеству исходных данных П2(а) также является функцией влияния от степени согласованности мнений экспертов w : (45) П 2 (а) = f (w) , где w ─ степень согласованности мнений экспертов. Основным показателем чувствительности к качеству исходных данных принят показатель чувствительности к приращениям согласованности мнений экспертов – П21( α ). В качестве меры чувствительности к приращениям согласованности мнений экспертов был принят дифференциал: ∂g j . ∆g W = ∂W

(46) Показатель эффективности алгоритма, характеризующий качество результатов измерений П 3 ( а ) , зависит от количества экспертов и является функцией от параметра n. (47) П3 (а) = f (n) .

Показатель эффективности алгоритма, характеризующий качество результатов измерений П 3 ( а ) , зависит от количества экспертов и является функцией от параметра n. (47) П3 (а) = f (n) . В качестве меры показателя эффективности было принято изменение весового коэффициента от изменений количества экспертов:

∆gn = gjn − gj(n−1) , где

(48)

g jn и g j ( n−1) ─ весовой коэффициент j-го показателя,

полученный при количестве экспертов n и (n-1) соответственно. Основным показателем сложности является показатель вычислительной сложности – П4 (а) . Мера показателя вычислительной сложности равна числу типовых операций: арифметических (сложения и умножения) и логических (сравнения и др.), необходимых для однократного вычисления по данному алгоритму. Для обоснованного выбора алгоритмов определения весовых коэффициентов при решении конкретной измерительной задачи необходимо провести исследование выбранных показателей качества на моделях исходных данных. По результатам исследований желательно выдавать аттестаты на каждый алгоритм, где необходимо указывать их основные характеристики. 3.3.2 ИССЛЕДОВАНИЕ ПОКАЗАТЕЛЕЙ ОПРЕДЕЛЕНИЯ ВЕСОВЫХ КОЭФФИЦИЕНТОВ

КАЧЕСТВА

АЛГОРИТМОВ

Для исследования алгоритмов определения коэффициентов прежде всего была разработана аттестации данной группы алгоритмов (табл. 14).

весовых схема

Из таблицы 14 видно, что рассматриваются четыре группы показателей качества алгоритмов: чувствительность, устойчивость, эффективность и сложность. В качестве исходных данных, поступающих на вход алгоритмов, взяты всевозможные сочетания мнений экспертов.

Таблица 14 ─ Схема аттестации алгоритмов определения весовых коэффициентов Алгоритмы 1 Показатели качества алгоритмов Модели данных

исходных

РанжиПопарное Двойное попарное рование сопоставление сопоставление 2 3 4 1. Чувствительность 2. Устойчивость 3. Эффективность 4. Сложность Всевозможные сочетания мнений экспертов при n=1…20, m=1…7

Способы определения 1. Аналитический показателей качества 2. Имитационное моделирование

Предложены два способа определения весовых коэффициентов: аналитический и имитационное моделирование. 3.3.2.1 ИССЛЕДОВАНИЕ ПОКАЗАТЕЛЕЙ УСТОЙЧИВОСТИ К ИЗМЕНЕНИЯМ МНЕНИЙ ЭКСПЕРТОВ НА ПРОТИВОПОЛОЖНОЕ

Рассмотрим показатели устойчивости к изменениям мнений на противоположное для разных алгоритмов. А. Способ ранжирования

Случай 1. Допустим, что при проведении экспертизы i-й эксперт выразил свое мнение по j-му показателю следующим образом:

Gij > Gi ( j +1) . Также допустим, что при повторном проведении экспертизы этот же эксперт поменял мнение на противоположное, т. е., что Gij < Gi ( j +1) .

=

(G

1j

m

n

∑∑ G j =1 i =1

=

]=

ij

.

1 m

(49)

n

∑∑ G j =1 i =1

ij

Следовательно, ∆g ξ ( j +1) = −

1 m

.

n

∑∑G j =1 i =1

ij

Значит, при изменении одного мнения . 1 П11 (а) = ∆gξ = ±

m

(50)

n

∑∑ G j =1 i =1

ij

Случай 2. Предположим, что одновременно поменяли свое мнение по j-му показателю два эксперта, и при проведении экспертизы они высказали мнение следующим образом: Gij > Gi ( j +1) ; G(i +k ) j > G(i +k )( j +1) . Также допустим, что при повторном проведении экспертизы они поменяли мнения на противоположное:

Gij < Gi ( j +1) ; G(i +k ) j < G(i +k )( j +1) . В этом случае показатель устойчивости к изменениям мнений экспертов будет равен: G1 j + G2 j + ... + Gij + ... + G(i + k ) j + ... + Gnj ∆g ξ j = − m n ∑∑ Gij

(

)

j =1 i =1

Тогда показатель устойчивости будет равен:   n   n   n   n  ∑Gij   ∑Gij   ∑Gij  −  ∑Gij   −  i=1  =  i=1  H  i=1 n = ∆gξ j = g jн − g jn =  mi=1n m n   m n  Gij  ∑∑Gij   ∑∑Gij  ∑∑ j =1 i =1  j=1 i=1  H  j=1 i=1 n

[

+ G2 j + ... + Gij + ... + Gnj ) − G1 j + G2 j + ... + (Gij − 1) + ... + Gnj

−

(G

1j

+ G 2 j + ... + ( G ij − 1) + ... + ( G ( i + k ) j − 1) + ... + G nj ) m

n

∑ ∑ G ij j =1 i =1

=

=

2 m

.

n

∑∑G j =1 i =1

(51)

предположим, что после повторного проведения экспертизы он ставит j-й объект экспертизы на (k-р) место. Тогда

ij

∑ G λj + (G ij )H n

Возможен и другой случай. Допустим, что при проведении экспертизы первоначально эти же два эксперта высказались следующим образом: Gij > Gi ( j +1) ; G(i +k ) j < G(i +k )( j +1) . При повторном проведении экспертизы они поменяли мнение на противоположное, т. е., что Gij < Gi ( j +1) ; G(i +k ) j > G(i +k )( j +1) . В этом случае показатель чувствительности к изменениям мнений экспертов на противоположное будет равен: ∆g ξ j =

−

(G

(G

1j

+ G 2 j + ... + G ij + ... + G ( i + k ) j + ... + G nj ) m

n

∑ ∑ G ij

−

∆g ξ =

λ=1

+ G 2 j + ... + (G ij − 1) + ... + (G ( i + k ) j + 1) + ... + G nj ) m

n

∑∑G j =1 i =1

(52)

n

∆g ξ j =

i =1

) н − ∑ ( G ij ) n

m

i =1

.

(53)

∑∑G j =1 i =1

ij

В формуле (53) числитель представляет собой разность баллов, проставленных всеми экспертами j-му объекту экспертизы первоначально и после повторного проведения экспертизы.

Случай 3. Допустим, что i-й эксперт поменял мнение сразу по нескольким показателям. Предположим, что первоначально он j-й объект экспертизы поставил на k-е место. Также

,

n

∑∑G j =1 λ=1

(54)

λj

экспертизы i-м экспертом в начале и после повторного проведения экспертизы соответственно. Следовательно, ∆g ξ j =

λ=1 λ≠ i

+ (G ij )H − ∑ G λj + (G ij )n n

λj

λ=1 λ≠ i

m

=

n

∑∑G j =1 λ=1

n

m

− (G ij )n

( )

ij

n

i, j

λj

λj

─ сумма рангов, поставленных j-му объекту

n

Рассуждая аналогичным образом, легко доказать, что в общем случае показатель устойчивости к изменениям мнений экспертов на противоположное равен:

∑ (G

∑∑G

G λj

∑G = 0.

−

n

λ=1 λ≠ i

экспертизы всеми остальными экспертами, кроме i-го эксперта; Gij H и (Gij )n ─ ранг, поставленный j-му объекту

j =1 i =1

1j

m

n

∑

∑G

λ=1 λ≠ i

j =1 λ=1

где

n

λj

k − (k − p ) m

n

∑∑G j =1 λ=1

λj

=

. (55)

P m

n

∑∑G j =1 λ=1

λj

В формуле (55) числитель представляет собой разность баллов (рангов), поставленных i-м экспертом j-му объекту экспертизы первоначально и после повторного проведения экспертизы. В данном случае показатель устойчивости к изменениям мнений экспертов также равен числу измененных мнений по j-му показателю. Очевидно, что при изменении мнений нескольких экспертов сразу по нескольким показателям показатель устойчивости к изменениям мнений экспертов также будет равен: n

∆g ξ j =

∑ (G i =1

n

i, j

) н − ∑ (G ij ) n

m

i =1

n

∑∑G j =1 i =1

.

(56)

ij

Из формул (53) и (56) видно, что показатель устойчивости к изменениям мнений экспертов в общем случае будет равен:

n

∆g ξ j =

n

∑ (G i , j ) н − ∑ (G ij ) n i =1

i =1

m

n

∑∑G j =1 i =1

ij

=

α m

,

(57)

n

∑∑G j =1 i =1

ij

Б. Способ попарного сопоставления

где α ─ сумма измененных мнений по j-му показателю. Из формулы (57) видно, что показатель устойчивости является линейной функцией от суммы измененных мнений по jму показателю. В качестве примера на рисунке 3 приведен график зависимости показателей устойчивости от суммы измененных мнений при различных значениях m и n.

D1 ( α1 )

П 11 ( a ) = ∆ g ξ j = g jн − п jn

D3 ( α3 ) D4 ( α4 ) D5 ( α5 )

0.2

D6 ( α6 ) D7 ( α7 ) D8 ( α8 )

3

0.1

0

0 1

5

10

15

20 25 30 α1 , α2 , α3 , α4 , α5 , α6 , α7 , α8

35

40

45 42

Рисунок 3 ─ Зависимость показателей устойчивости от суммы измененных мнений: D1( α 1) при m=7, n=7; D2( α 2) ─ при m=6, n=7; D3( α 3) ─ при m=5, n=7; D4( α 4) ─ при m=4, n=7; D5( α 5) ─ при m=7, n=7; D6( α 6) ─ m=7, n=6; D7( α 7) ─ при m=7, n=5; D8( α 8) ─ при m=7, n=4.

Как видно из рисунка 3, показатель устойчивости прямо пропорционален сумме измененных мнений по j -му показателю

(К

 n  ∑ K ij =  i =1  nC  

 n   ∑ K ij   −  i =1  nC    H 

+ К2 j + ...+ Кnj ) − (К1 j + К2 j + ...+ (Кij −1) + ...+ Кnj )

   =   n

1 . (58) nC nС Если i-й эксперт при повторном проведении экспертиз предпочел j-й объект экспертизы (Kij–1) раз, значит, он предпочел (j+k) объект экспертизы на один раз больше. Следовательно, 1 . ∆g ξ ( j + k ) = − nC Также допустим, что все эксперты предпочли j-й объект экспертизы Р раз. При повторном проведении экспертизы они же предпочли j-й объект экспертизы (Р-К) раз. Тогда показатель устойчивости будет равен: P P−K K . (59) П11 (a) = ∆g ξj = g jн − п jn = − = nC nC nC В общем случае показатель устойчивости можно записать следующим образом: (K ) − (Kij )n α 2α , (60) П ( α )= ij H =

0.3

D2 ( α2 )

.10

Пусть при проведении экспертизы i-й эксперт предпочел jй объект экспертизы Кij раз. При повторном проведении экспертизы этот же эксперт предпочел j-й объект экспертизы (Кij–1) раз. Тогда показатель устойчивости П11 (a) будет равен:

0.4

0.342857

5.102041

и увеличивается как при уменьшении числа измеряемых показателей при постоянном количестве экспертов, так и при уменьшении количества экспертов при постоянном числе измеряемых показателей.

1j

11

nC

=

nC

=

n ⋅ (m − 1) ⋅ m

=

где

K ij н и

Kijn ─ число предпочтений i-м экспертом j-го

объекта при первичном и после повторного проведения экспертизы соответственно; α ─ количество изменений числа предпочтений j-го объекта экспертизы всеми экспертами. Из формулы (60) видно, что показатель устойчивости равен сумме изменений числа предпочтений по j-му показателю и является линейной функцией от этой суммы. В качестве примера на рисунке 4 приведен график зависимости показателей устойчивости от суммы изменений числа предпочтений по j-му показателю для различных значений m и n при получении результатов экспертиз попарным сопоставлением.

Как видно из рисунка 4 показатель устойчивости к изменениям мнений экспертов при попарном сопоставлении также прямо пропорционален сумме изменении числа предпочтений по j-му показателю и увеличивается как при уменьшении числа измеряемых показателей при постоянном количестве экспертов, так и при уменьшении количества экспертов при постоянном числе измеряемых показателей. В. Способ двойного попарного сопоставления В данном случае показатель устойчивости, очевидно, будет определяться так же как и в случае попарного сопоставления, за исключением того, что общее число суждений одного эксперта, связанных с числом объектов экспертизы – С, будет определяться по формуле (14), т.е.: Kij H − Kij n α α . (61) П11( α )= = = nC nC n ⋅ (m −1) ⋅ m На рисунке 5 приведен график зависимости показателя устойчивости от суммы изменений числа предпочтений по j-му показателю для различных значений m и n при получении результатов экспертиз двойным попарным сопоставлением. Как видно из рисунка 5, показатель устойчивости к изменениям мнений экспертов при двойном попарном сопоставлении, так же как и при попарном сопоставлении, прямо пропорционален сумме изменений числа предпочтений по j-му показателю и увеличивается как при уменьшении числа измеряемых показателей при постоянном количестве экспертов, так и при уменьшении количества экспертов при постоянном числе измеряемых показателей. Показатель устойчивости во всех трех случаях увеличивается как при уменьшении числа измеряемых показателей, так и при уменьшении количества экспертов. Следовательно, для уменьшения влияния изменения мнений экспертов на результаты экспертиз необходимо увеличивать количество экспертов, т. к. количество измеряемых показателей увеличивать не всегда оправданно и нежелательно, поскольку считается, что человеческий мозг не в состоянии

( ) ( )

0.5

D1 ( α1 )

0.5

0.4

D2 ( α2 ) D3 ( α3 )

0.3

D4 ( α4 ) D5 ( α5 ) D6 ( α6 ) 0.2 D7 ( α7 ) D8 ( α8 ) 0.1

0

0

0 0

5

10

15

20 25 30 α1 , α2 , α3 , α4 , α5 , α6 , α7 , α8

35

40

45 42

Рисунок 4 ─ Зависимость показателя устойчивости от суммы изменений числа предпочтений по j-му показателю при различных значениях m и n : D1( α 1) – при n=7 и m=7; D2( α 2) – при n=7 и m=6; D3( α 3) – при n=7 и m=5; D4( α 4) – при n=7 и m=4; D5( α 5) – при n=7 и m=7; D6( α 6) – при n=6 и m=7; D7( α 7) – при n=5 и m=7; D8( α 8) – при n=4 и m=7.

одновременно одновременно.

анализировать

более

семи

показателей

n

∑G i =1

0.5

D1 ( α1 ) 0.4

D4 ( α4 )

(63)

= G1 j + G2 j + ... + Gnj ,

ij

а знаменатель обозначим через Q: m n Q = ∑∑ Gij .

D2 ( α2 ) D3 ( α3 )

Числитель в выражении (62) представляет собой

j =1 i =1

Знаменатель выражения (62) представим следующим образом:

0.3

D5 ( α5 )

m

m

n

ij

j =1 i =1

D7 ( α7 ) D8 ( α8 ) 0.1

0

n

∑∑ G =∑∑ G

D6 ( α6 ) 0.2

+ Gij .

kλ

λ=1 k =1 λ≠ j k ≠i

(64)

Подставив выражения (63) и (64) в формулу (63), получим: 0

10

20

30

40

50

60

70

80

90

Рисунок 5 ─ Зависимость показателя устойчивости от суммы изменений числа предпочтений по j-му показателю для различных значений m: D1( α 1) – при n=7 и m=7; D2( α 2) – при n=7 и m=6; D3( α 3) – при n=7 и m=5; D4( α 4) – при n=7 и m=4; D5( α 5) – при n=7 и m=7; D6( α 6) – при n=6 и m=7; D7( α 7) – при n=5 и m=7; D8( α 8) – при n=4 и m=7

=

Показатель чувствительности к приращениям мнений экспертов примет следующий вид: (62)

ij

∂ ∂G

ij

1 j m

+ G

∑ ∑ λ=1 λ≠ j

2 j

n

G

k =1 k ≠i

+ ... + G kλ

+ G

ij

nj

Q2

m

=

=

    =    

n ∂ (G1 j + G2 j + ... + Gij + ... + Gnj )⋅ Q − ∂Q ⋅ ∑Gij ∂Gij ∂Gij i =1

=

  n  ∂  m n n + G G ij  ⋅ ∑ G ij  ∑ ∑ kλ ∂ G ij  λ=1 k =1 − Q G ij = 1 i ∑   λ≠ j k ≠ i  i =1 = = Q2 Q2

=

А. Способ ранжирования

  .   

j

Q−

3.3.2.2 ИССЛЕДОВАНИЕ ПОКАЗАТЕЛЕЙ ЧУВСТВИТЕЛЬНОСТИ К ПРИРАЩЕНИЯМ МНЕНИЙ ЭКСПЕРТОВ

 n  G ij ∂g j ∂  ∑ i =1 ∆g δ = = ∂ G ij ∂ G ij  m n  ∑ ∑ G ij  j =1 i =1

∂g ∂G

   G     

n

n

∑∑ G − ∑ G j =1 i =1

ij

   ∑∑ Gij     j =1 i =1  m

n

ij

i =1

.

(65)

2

Следовательно,

показатель

чувствительности

приращениям мнений экспертов зависит от отклонения суммы

к

рангов j-го показателя от суммы рангов всех показателей и является линейной функцией от этого отклонения. В качестве примера на рисунке 6 приведен график зависимости П12( α ) от отклонения суммы рангов j-го показателя от суммы рангов всех показателей при различных значениях количества измеряемых показателей и числа экспертов. 0.013469

0.014

D1 ( α1 ) 0.012 D2 ( α2 ) D3 ( α3 )

0.01

D4 ( α4 ) D5 ( α5 ) D6 ( α6 ) D7 ( α7 ) D8 ( α8 )

0.008

0.006

0.004

3 3.826531 .10 0.002 4

0

10

20 30 α1 , α2 , α3 , α4 , α5 , α6 , α7 , α8

40

50 49

Показатель чувствительности к приращениям мнений экспертов будет равен: ∆g δ =

∂g j ∂K ij

Из рисунка 6 видно, что чем меньше отклонение суммы рангов j-го показателя от суммы рангов всех показателей, тем больше чувствительность к приращениям мнений экспертов для различных значений m и n, т. е. наиболее чувствительным к приращениям мнений экспертов является тот показатель, который получил наименьшее число баллов. Б. Способ попарного сопоставления

  = ∂  ∂K ij  

 K 1 j + K 2 j + ... + K ij + ... + KF nj   =   n⋅C  

2 (66) = 1 ⋅ ∂ (K1 j + K2 j + ...+ Kij + ...+ Knj ) = 1 = n ⋅ C ∂Kij n ⋅ C m⋅ (m −1) ⋅ n В данном случае показатель чувствительности к приращениям мнений экспертов обратно пропорционален числу сочетаний мнений экспертов и количеству экспертов. На рисунке 7 приведен график зависимости показателя чувствительности к приращениям мнений экспертов. Как видно из рисунка 7, показатель чувствительности к приращениям мнений экспертов уменьшается как при увеличении количества экспертов, так и при увеличении числа измеряемых показателей. 0.166667

Рисунок 6 – Зависимость П12( α ) от отклонения суммы рангов j-го показателя от суммы рангов всех показателей при различных значениях m и n: D1( α 1) – при n=7 и m=7; D2( α 2)– при n=7 и m=6; D3( α 3) – при n=7 и m=5; D4( α 4) – при n=7 и m=4; D5( α 5) – при n=7 и m=7; D6( α 6) – при n=6 и m=7; D7( α 7) – при n=5 и m=7; D8( α 8) – при n=4 и m=7

 n  ∑ K ij ∂  i =1 = ∂K ij  n ⋅ C  

0.2

α4 ( m4 , n4 ) α5 ( m5 , n5 )

0.15

α6 ( m6 , n6 ) α7 ( m7 , n7 ) α8 ( m8 , n8 )

0.1

α9 ( m9 , n9 ) α10 ( m10 , n10 )

0.05

α11 ( m11 , n11 )

3 2.380952 .10

0

2 2

3

4 5 m4 , m5 , m6 , m7 , m8 , m9 , m10 , m11

6

7 7

Рисунок 7 – Зависимость показателя чувствительности к приращениям мнений экспертов при изменении числа показателей от 1 до 7 и при разном числе экспертов: α 4(m4,n4) при n4=6; α 5(m5,n5) при n5=8; α 6(m6,n6) при n6=10; α 7(m7,n7) при n7=12; α 8(m8,n8)

при n8=14; α 9(m9,n9) при n9=16; α 11(m11,n11) при n11=20

α 10(m10,n10)

при n10=18;

В. Способ двойного попарного сопоставления В данном случае, показатель чувствительности к приращениям мнений экспертов определяется аналогично предыдущему и будет равно:  n   ∑ K ij  ∂g j ∂  i =1  = ∂  K1 j + K 2 j + ... + K ij + ... + KFnj  = ∆g δ = =  ∂K ij ∂K ij  n ⋅ C  ∂K ij  n⋅C      = 1 ⋅ ∂ (K1 j + K2 j + ... + Kij + ... + Knj ) = 1 =

1 n ⋅ C m ⋅ (m − 1) ⋅ n

n ⋅ C ∂Kij

(67)

На рисунке 8 приведен график зависимости показателя чувствительности к приращениям мнений экспертов. 0.083333

α4( m4 , n4 )

0.08

0.04

α10( m10 , n10 )

3

А. Способ ранжирования

∂g i . ∂w

Тогда производная

α11( m11 , n11 ) 0.02

1.190476 .10

3.3.2.3 ИССЛЕДОВАНИЕ ПОКАЗАТЕЛЕЙ ЧУВСТВИТЕЛЬНОСТИ К ПРИРАЩЕНИЯМ СОГЛАСОВАННОСТИ МНЕНИЙ ЭКСПЕРТОВ

(68)

от W Поскольку получить явное выражение gj достаточно трудно, то удобнее воспользоваться параметрическим заданием этих функций, т. е. gj=f(Gij); W= ϑ (Gij ) .

α8( m8 , n8 ) α9( m9 , n9 )

Так же как и в случае попарного сопоставления, показатель чувствительности к приращениям мнений экспертов уменьшается как при увеличении количества экспертов, так и при увеличении числа измеряемых показателей. Из рисунка 8 видно, что показатель устойчивости к изменениям мнений экспертов двойного попарного сопоставления в два раза меньше, чем у попарного сопоставления. Следовательно, двойное попарное сопоставление в два раза устойчивее, чем попарное сопоставление.

П 2 (а) =

0.06

α7( m7 , n7 )

при

Показатель чувствительности к приращениям согласованности мнений экспертов будет определяться как дифференциал:

0.1

α5( m5 , n5 ) α6( m6 , n6 )

при n8=14; α 9(m9,n9) при n9=16; α 10(m10,n10) n10=18; α 11(m11,n11) при n11=20.

∂g i ∂w

выразится через параметр Gij

формулой: 0

2 2

3

4 5 m4 , m5 , m6 , m7 , m8 , m9 , m10 , m11

6

7 7

Рисунок 8 – Зависимость показателя чувствительности к приращениям мнений экспертов при изменении числа показателей от 1 до 7 и при разном числе экспертов: α 4(m4,n4) при n4=6; α 5(m5,n5) при n5=8; α 6(m6,n6) при n6=10; α 7(m7,n7) при n7=12; α 8(m8,n8)

∂g i ∂f (Gij ) f `(Gij ) = . = ∂w ∂υ (Gij ) υ `(Gij )

(69)

Сначала рассмотрим, как меняется согласованность мнений экспертов от изменений мнений экспертов по j-му объекту экспертизы Gij. Допустим, что количество экспертов и количество показателей остается неизменным и выразим параметр S через

Gij, где сумма рангов каждого объекта экспертизы запишется n

следующим образом:

∑G i =1

ij

.

А средний арифметический ранг есть не что иное, как: 1 m n ∑∑Gij m j =1 i=1

Тогда сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического ранга примет вид: 2

m  n  1 m n (70) S = ∑  ∑ Gij − ∑∑ Gij  . m j =1 i =1  j =1  i =1 Изменение коэффициента конкордации от изменения мнений экспертов, очевидно, будет определяться как дифференциал . ∂w ∂  12S (71)  2 3  = ∂Gij ∂Gij  n (m − m )  Подставив выражение (70) в формулу (71), получим: 2  m n m n    12  G − 1  Gij  ∑ ∑ ij m ∑∑  ∂w ∂  j =1  i =1 j =1 i =1  =  = ∂Gij ∂Gij  n 2 (m3 − m)      2   12 1 m n ∂  m  n (72) = 2 3 ⋅ ∑  ∑ Gij − ∑∑ Gij   . m j =1 i =1   n m − m ∂Gij  j =1  i =1   Введем следующие обозначения:

(

)

n

Pj = ∑ Gij − i =1

1 m n ∑∑Gij ; m j =1 i =1

m

t j = ∑ P 2j . j =1

Тогда выражение (72) можно образом: ∂t j ∂Pj 12 ∂w , ⋅ = 2 3 ⋅ ∂Gij n m − m ∂Pj ∂Gij

(

)

записать

следующим (73)

где

∂t j

=

∂Pj

∂Pj ∂Gij

∂ ∂Pj =

 m 2 ∂ 2 2 2 2  ∑Pj  = ;   ∂P P1 + P2 + P3 + ...+ Pm = 2Pj j  j =1 

(

)

(74)

 1 m n ∂  n  ∑ Gij − ∑∑ Gij  = m j =1 i =1  ∂Gij  i =1

n ∂ ∂ ⋅ ∑ Gij − ∂Gij ∂Gij i =1

1 m n  ⋅ ∑∑ Gij  ;  m j =1 i =1 

∂ n ∂ (G1j +G2 j +G3 j +...+Gij +...+Gnj ) =1; Gij = ∑ ∂Gij i=1 ∂Gij

(75) (76)

  1 ∂ m n ∂ 1 m n  ∑∑ Gij  =  ∑∑ Gij  = ⋅    ∂Gij  m j =1 i =1  m ∂Gij  j =1 i =1 

=

1 ∂ ⋅ (G11 + G21 + G31 + ... + Gi1 + ... + Gn1 + … m ∂Gij

1 . (77) m Подставив выражения (76) и (77) в формулу (75), окончательно получим: + G1m + G2m + G3m + ... + Gim + ... + Gnm ) =

∂Pj

∂Gij

= 1−

1 m −1 . = m m

(78)

Подставив выражения (74) и (77) в формулу (73), получим: ∂w 12 m −1 = 2 3 ⋅ 2 Pj ⋅ = m ∂Gij n m − m

(

24(m − 1) 2 n ⋅ m m3 − m

)

m n  n  ⋅  ∑ Gij − m1 ∑∑ Gij  = j =1 i =1  i =1  n m n   24 (79) = 2 2 ⋅  ∑ Gij − m1 ∑∑ Gij  . n ⋅ m (m + 1)  i =1 j =1 i =1  Из последней формулы видно, что при изменении мнений одного эксперта, т. е. при приращении Gij, коэффициент конкордации меняется на сумму отклонений суммы рангов каждого объекта экспертизы от среднего арифметического ранга, умноженного на коэффициент К, равный k = 2 24 . n ⋅ m 2 (m + 1)

(

)

При постоянных значениях m и n показатель чувствительности к приращениям согласованности мнений экспертов является функцией от S. Подставив в формулу (69) выражения (65) и (79), получим: m

∂g i = ∂w

=

n

всех случаях. При нечетных значениях числа экспертов и измеряемых показателей показатель чувствительности ассимптотически стремится к бесконечности при увеличении рассогласованности мнений экспертов. При выборе четного

n

∑∑ G − ∑ G ij

j =1 i =1

i =1

n 2 ⋅ m 2 (m + 1)

ij

⋅

2 m n  n   m n  24 ∑ Gij − m1 ∑∑ Gij   ∑∑ Gij    j =1 i =1  i =1   j =1 i =1  m n n   n 2 ⋅ m 2 (m + 1) ∑∑ Gij − ∑ Gij  i =1  j =1 i =1  .

5.809524

=

5 D1 ( α1 ) D2 ( α2 )

(80)

2

m n  m n   m  24 ∑∑ Gij  ⋅  ∑ Gij − m1 ∑∑ Gij  j =1 i =1  j =1 i =1   j =1  Введем следующее обозначение: n 2 m 2 ( m + 1) . (81) K= 2 m n   24  ∑∑ Gij   j =1 i =1  В этом случае показатель чувствительности к приращениям согласованности мнений экспертов примет вид:

m

n

10

D3 ( α3 )

0

D4 ( α4 )

5

5.857143

10

0 7

10

20

30 α1 , α2 , α3 , α4

40

50 49

числа измеряемых показателей и нечетного количества экспертов этот же показатель более медленно стремится к своему максимуму.

n

∑∑G − ∑G ij

ij

∂g i j =1 i =1 i =1 . (82) =K⋅ n m n ∂w    ∑ Gij − m1 ∑∑ Gij    j =1 i =1   i =1 Как видно из формулы (82), показатель чувствительности к приращениям согласованности мнений экспертов является сложной функцией от отклонения суммы рангов j-го показателя от среднего арифметического ранга и от отклонения суммы рангов j-го показателя от суммы рангов всех показателей. На рисунке 9 приведен график зависимости показателя чувствительности от приращения согласованности мнений экспертов. Как видно из рисунка 9, показатель чувствительности к приращениям согласованности мнений экспертов стремится к максимуму при полной рассогласованности мнений экспертов во

Рисунок 9 – Зависимость показателя чувствительности от приращения согласованности мнений экспертов D1(1) при n=7, m=7; D2(2) при n=7, m=6; D3(3) при n=7, m=5; D4(4) при n=7, m=4 Так же можно показать, что при четном числе экспертов и нечетном числе измеряемых показателей показатель чувствительности к приращениям согласованности мнений экспертов будет медленно увеличиваться при увеличении рассогласованности мнений экспертов. Поэтому для уменьшения влияния согласованности мнений экспертов на результаты экспертиз целесообразно выбирать нечетное количество экспертов при четном числе измеряемых

показателей и четное количество экспертов при нечетном числе измеряемых показателей. Б. Способ попарного сопоставления Чтобы определить показатель чувствительности к приращениям согласованности мнений экспертов алгоритма определения весовых коэффициентов при получении результатов экспертиз попарным сопоставлением, также вначале рассмотрим, как меняется коэффициент конкордации от количества предпочтений j-го объекта экспертизы Kij . Допустим, что параметры m и n остаются постоянными и выразим параметр S через Kij. В этом случае сумма предпочтений каждого объекта экспертизы равен:

n

∑K i =1

ij

.

Среднее арифметическое предпочтение запишется как 1 m n (83) ∑ ∑ K ij . m j = 1 i =1 Как и в случае определения результатов экспертиз ранжированием, параметр S примет вид: 2

m  n  1 m n S = ∑  ∑ K ij − ∑∑ K ij  . n j =1 i =1 j =1  i =1 

(84)

Следует отметить, что при определении весовых коэффициентов методом попарного сопоставления коэффициент конкордации определяется по следующей формуле: W=

3S . n (m 3 − m ) 2

(85)

Рассуждая, так же как в предыдущем случае, получим:  n  ∂w 6 1 m n (86) = 2 2 ⋅  ∑ K ij − ⋅ ∑∑ K ij  . ∂K ij n m (m + 1)  i =1 n j =1 i =1  Как уже было показано выше, показатель чувствительности к приращениям согласованности мнений экспертов при постоянных значениях m и является функцией от параметра S и будет определяться как дифференциал:

∂f ( K ji ) ∂υ ( K ij )

.

(87)

Аналогично предыдущему воспользуемся параметрическим заданием этих функции: gj=f(Kij); W= ϑ ( K ij ) , n 2 где ∂f ( K iJ ) = ∂  1 ∑ Fij  = 1 = . ∂K ij  n ⋅ C i =1  n ⋅ C mn(m − 1) В этом случае показатель чувствительности определяться по формуле:

П 21 (а) =

∂f ( K ji )

∂υ ( K ij )

.

(88) будет (89)

Подставив выражения (86) и (88) в формулу (89), получим: 2 ∂g j n ⋅ m⋅ (m −1) n ⋅ m⋅ (m +1) . (90) = = m n n m n ∂w   n  1 1 6⋅  ∑Kij − ∑∑ Kij  3⋅ (m −1) ∑Kij − ∑∑ Kij  n n j =1 i=1  j =1 i =1  i=1  i=1  n2 m2 (m +1) График зависимости показателя чувствительности к приращениям согласованности мнений экспертов приведены на рисунке 10. 30

20

D1 ( P1 )

10

D2 ( P2 ) D3 ( P3 )

0

D4 ( P4 ) 10

20

30

0

10

20

30

40

50

P1 , P2 , P3 , P4

Рисунок 10 – Зависимость показателя чувствительности к приращениям согласованности мнений экспертов D1(P1) при m=7, n=7; D2(P2) при m=6, n=7; D3(P3) при m=5, n=7; D4(P4) при m=4, n=7

Из рисунка 10 видно, что при приближении суммы предпочтений по j-му показателю к среднему арифметическому рангу показатель чувствительности к приращениям мнений экспертов ассимптотически стремится к бесконечности. Сумма предпочтений по j-му показателю будет приближаться к среднему арифметическому рангу только в случае полной рассогласованности мнений по j-му показателю. Таким образом, показатель чувствительности к приращениям мнений экспертов увеличивается при увеличении рассогласованности мнений экспертов. В. Способ двойного попарного сопоставления

Рисунок 11 – Зависимость показателя чувствительности к приращениям согласованности мнений экспертов D1(P1) при m=7, n=7; D2(P2) при m=6, n=7; D3(P3) при m=5, n=7; D4(P4) при m=4, n=7

В случае двойного попарного сопоставления наблюдается та же картина, показатель чувствительности к приращениям мнений экспертов увеличивается при увеличении рассогласованности мнений экспертов. Чтобы уменьшить влияние рассогласованности мнений экспертов необходимо увеличивать или количество показателей или же количество экспертов, что последнее предпочтительнее, т.к. увеличение количества показателей не всегда бывает оправданным. 3.3.2.4 ИССЛЕДОВАНИЕ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ

Показатель чувствительности к приращениям согласованности мнений экспертов алгоритм определения весовых коэффициентов при получении результатов экспертиз двойным попарным сопоставлением соответственно будет равен: 1 ∂g j n⋅ m⋅ (m−1) n⋅ m⋅ (m+1) . (91) = = m n n m n n ∂w     1 1 6⋅ ∑Kij − ∑∑Kij  6⋅ (m−1)∑Kij − ∑∑Kij  n j=1 i=1  n j=1 i=1   i=1  i=1

n2 m2 (m+1) График зависимости показателя чувствительности к приращениям согласованности мнений экспертов приведены на рисунке 11.

Показатель эффективности алгоритма, характеризующий качество результата измерения от количества экспертов, является функцией от n: П 3 (а) = f (n ) . Мерой показателя эффективности является изменение результата измерения от измерения количества экспертов: ∆g j = ∆g jn − g j ( n−1) . Рассмотрим два возможных случая определения показателя эффективности для разных алгоритмов: – при увеличении числа экспертов; – при уменьшении числа экспертов. А. Способ ранжирования Случай 1. При увеличении числа экспертов показатель эффективности будет равен: n−1

n

9.8

10

∆g j = g jn − g j ( n−1) =

5

0

15

∑G

−

i =1 m n−1

ij

.

(92)

∑∑G ∑∑G ij

j =1 i =1

m

n

m n −1

Gn = ∑∑ Gij , Gn −1 = ∑∑ Gij .

5

j =1 i =1

10

10.888889

ij

ij

Выразим gjn через gj(n-1). Введем следующие обозначения:

D3 ( P3 ) D4 ( P4 )

i =1 m n

j =1 i =1

D1 ( P1 ) D2 ( P2 )

∑G

0 0

10

20

30 P1 , P2 , P3 , P4

40

50 41

j =1 i =1

n −1

n

g jn =

∑Gij i =1

Gn

=

∑Gij + Gnj i =1

Gn

n −1   Gij   ∑ 1  i =1 Gn−1 ⋅ = + Gnj  =  Gn  Gn−1    

1 (Gn−1 ⋅ g j (n−1) + Gnj ) = Gn−1 ⋅ g j (n−1) + Gnj . = Gn Gn Gn Тогда Gnj G ∆g j = g jn − g j ( n−1) = n−1 ⋅ g j ( n−1) + ⋅ g j ( n−1) = Gn Gn

n

∆g j = g jn − g j ( n −1) =

   ∑∑ Gij  Gnj j =1 i =1 =  m n − 1 ⋅ g j (n−1) + m n Gij  ∑∑ Gij  ∑∑ j =1 i =1  j =1 i =1 

nC

−

∑K i =1

ij

+ K ( n +1) j =

(n + 1) ⋅ C

n

∑K (n +1) − ∑K ij

= i =1

=

Gnj G  =  n−1 − 1 g j ( n−1) + = Gn  Gn 

i =1

n

 +K(n+1), j  ⋅ n i =1  = n ⋅ (n +1) ⋅ C 

n

(93)

∑ K ij

ij

n

n

n

i =1

i =1

i =1

n ⋅ ∑Kij + ∑Kij − n ⋅ ∑Kij − n ⋅ K(n+1) j n(n +1)C

n

=

∑K i =1

ij

− n ⋅ K(n+1) j

n(n +1)C

=

n

=

m n −1

(94)

Случай 2. Допустим, что количество экспертов уменьшилось на одного. Из формулы (94) выразим gj(n-1) через gjn: Gnj  Gn Gnj  G (95)  = n ⋅ g jn − g j ( n−1) =  g jn − Gn  Gn−1 Gn−1 Gn−1  Тогда Gnj  Gn  G G  ⋅ g jn − nj = ∆g j = g jn − g j (n−1) = g jn − n ⋅ g jn − = 1− Gn−1 Gn−1  Gn−1  Gn−1 m n    ∑∑ Gij  Gnj j =1 i =1 (96) = 1 − m n−1  ⋅ g jn − m n−1 Gij  ∑∑ Gij  ∑∑ j =1 i =1 j =1 i =1   Б. Способ попарного сопоставления Случай 1. Допустим, что число экспертов увеличилось на одного. Тогда

∑K i +1

ij

n(n + 1)C

−

n ⋅ K( n +1), j n(n + 1)C

=

1 ⋅ g j − gn, j . (1 + n)

(97)

Для алгоритма определения весовых коэффициентов при получении результатов экспертиз полным попарным сопоставлением показатель эффективности также будет равен: 1 (98) ∆g j = ⋅ g j − g n, j . (1 + n)

Случай 2. Допустим, что число экспертов уменьшилось на одного. Тогда выразим gj(n-1) через gjn: n −1 n −1 n  n−1   ∑Kij + Knj (n −1) − n ⋅ ∑Kij Kij ∑Kij ∑ i =1  = ∆g j = i =1 − i =1 =  i =1 nC (n − 1)C n(n − 1)C n n n n n  n⋅∑Kij −∑Kij −n⋅∑Ki, j −Kn, j  nKnj −∑Kij K ∑ Kn, j 1 i=1 i, j i=1 i=1 i=1   i 1 = = = = = − ⋅ n(n−1)C n(n−1)C (n−1)C (n−1) n⋅C 1 (99) ∆g j = gn, j − ⋅ gj n −1 Для алгоритма определения весовых коэффициентов при получении результатов экспертиз полным попарным сопоставлением показатель эффективности соответственно будет равен:

1 (100) ⋅ gj . n −1 Как видно из формул (97), (98), (99) и (100), показатели эффективности при увеличении и при уменьшении количества экспертов при получении результатов экспертиз попарным сопоставлением и двойным попарным сопоставлением равны между собой. ∆g j = gn, j −

3.3.2.5 СРАВНИТЕЛЬНЫЙ ВЕСОВЫХ КОЭФФИЦИЕНТОВ

АНАЛИЗ

АЛГОРИТМОВ

ОПРЕДЕЛЕНИЯ

Таблица 15 – Показатели устойчивости и чувствительности

Алгори т-мы Ранжир о-вание

Чтобы наиболее полно выявить свойства алгоритмов и область их применения, необходимо сопоставить алгоритмы по вышеприведенным показателям. Для сопоставления алгоритмов результаты аттестации сведены в таблицы 15 и 16.

Показатель устойчивости

П11( α ) α m

n

∑∑ G j =1 i =1

Попарн ое сопоста в-ление Двойно е попарн ое сопоста в-ление

ij

2α n ⋅ (m −1) ⋅ m

α n ⋅ (m −1) ⋅ m

Показатель чувствительности П21( α )

П12( α ) m

n

n

m

∑∑ G − ∑ G j =1 i =1

ij

   ∑∑ Gij     j =1 i =1  m

ij

i =1

n

2 m ⋅ ( m − 1) ⋅ n

1 m ⋅ (m − 1) ⋅ n

2

K⋅

n

n

∑ ∑ Gij − ∑ Gij j =1 i =1

i =1

n    ∑ Gij − m1 ∑∑ Gij    j =1 i =1  i =1  n

m

n ⋅ m ⋅ (m + 1)  n  1 m n 3 ⋅ ( m − 1) ∑ K ij − ∑ ∑ K ij  m j =1 i =1  i =1 

n ⋅ m ⋅ (m + 1) n  1 m n 6 ⋅ (m − 1) ∑ Kij − ∑∑ Kij  m j =1 i=1   i=1

Таблица 16 – Показатели эффективности и сложности

Алгоритмы

Ранжировани е

Попарное сопост. Дв. попарное сопоставлен ие

Показатель эффективности П3( α )

Слож При увеличении При уменьшении ность количества количества ) экспертов экспертов  m n   m n−1  Gij   ∑∑Gij  Gnj  ∑∑ Gnj j=1 i=1   j=1 i=1  n+m+ 1− m n−1 ⋅ gjn − m n−1  m n −1⋅gj(n−1) + m n 1 ∑∑Gij  Gij  ∑∑Gij  Gij ∑∑ ∑∑ j=1 i=1 j=1 i=1  j=1 i=1   j=1 i=1  1 ⋅ g j − g n, j (1 + n)

1 ⋅ g j − gn, j (1 + n)

1 ⋅ gj n −1

+m+4

1 ⋅ gj n −1

n+m+ 3

gn, j − gn, j −

Из формул, представленных в таблицах 15 и 16, видно, что показатель устойчивости к изменениям мнений экспертов на противоположное при получении результатов экспертиз попарным сопоставлением пропорционален изменению числа предпочтений j–го показателя всеми экспертами и обратно пропорционален произведению числа сочетаний мнений экспертов на количество экспертов. Поскольку число сочетаний мнений экспертов при двойном попарном сопоставлении в два раза больше, чем при попарном сопоставлении, то двойное попарное сопоставление в два раза устойчивее к изменениям мнений на противоположное. Для сравнения способов ранжирования и попарного сопоставления по показателю устойчивости П11( α ) рассмотрим этот показатель при числе изменений мнений на

противоположное α =1 и изменении числа предпочтений j–го показателя на единицу (табл. 17). По результатам таблицы 17 можно делать следующие выводы: – наиболее устойчивым к изменениям мнений экспертов на противоположное является двойное попарное сопоставление; – двойное попарное сопоставление в два раза устойчивее к изменениям мнений на противоположное, чем попарное сопоставление; – способ ранжирования менее устойчив к изменениям мнений на противоположное, чем двойное попарное сопоставление, но более устойчив, чем попарное сопоставление. Таблица 17 – Значения показателя устойчивости алгоритмов определения весовых коэффициентов при различных значениях nиm Алгоритмы

Ранжирования Попарного сопоставления Двойного попарного сопоставления

П11( α ) при n = 7, m = 7 0,005102 0,0068027

П11( α ) при n = 10, m = 7 0,0035714 0,0047619

0,0034013

0,0023809

Показатель устойчивости к приращению мнений экспертов при двойном попарном сопоставлении в два раза меньше, чем этот же показатель в случае попарного сопоставления (см. формулы 68 и 69). Для сравнения алгоритмов по показателю устойчивости к приращениям мнений экспертов вычислим этот показатель для различных значений m и n. Результаты вычислений приведены в таблице 18. Результаты, представленные в таблице 18, свидетельствуют о том, что наиболее устойчивым к

приращениям мнений экспертов также является двойное попарное сопоставление и наименее устойчивым – попарное сопоставление. Показатели чувствительности к приращениям согласованности мнений экспертов при ранжировании П21( α ) асимптотически стремятся к бесконечности при приближении jго показателя к среднему арифметическому рангу слева и справа, что следует из выражения 90. Таблица 18 – Значения показателя устойчивости к приращениям мнений экспертов Алгоритмы

П12( α ) при n=9, m=7 0,0038265 0,005291

П12( α ) при n=10, m=6 0,0045351 0,0066666

П12( α ) при n=14, m=7 0,0024599 0,0034013

Ранжирования Попарного сопоставления Двойного попарного 0,0026455 0,0033333 0,0017006 сопоставления Показатель чувствительности к приращениям согласованности мнений экспертов при попарном сопоставлении также стремится к бесконечности при приближении j-го показателя к среднему арифметическому числу предпочтений. Для сравнения алгоритмов определения весовых коэффициентов по показателю чувствительности к приращениям мнений экспертов вычислим значения П21( α ) для разных алгоритмов при одних и тех же значениях m и n. Допустим, что при определении весовых коэффициентов разными способами все эксперты выразили свое мнение следующим образом (табл. 19). Таблица 19 – Мнения экспертов

Ранжирование Алгоритмы

Попарное сопоставление

Двойное попарное сопоставление

n

∑G i =1

ij

0 при

n=9, m=7

0, 18, 27, 36, 45, 54, 63

10, 20, 30, 40, 50, 60

14, 28, 42, 56, 70, 84, 98

Результаты вычислений приведены в таблице 20. Анализ данных таблицы 20 позволяет сделать вывод о том, что наиболее чувствительным к приращениям согласованности мнений экспертов является попарное сопоставление, а наименее чувствительным – способ ранжирования. При попарном сопоставлении показатель эффективности в два раза больше, чем при двойном попарном сопоставлении, и зависит только от числа предпочтений n-м экспертом j-го показателя, что следует из таблицы 20. Таблица 20 – Значения показателя пиращениям мнений экспертов Алгоритмы

Ранжирование

П12( α ) при n=9, m=7

-0,006802 -0,0098254 -0,018895 ∞ 0,0083138 0,0052906 0,0173834

чувствительности

Попарное сопоставление -0,2592592 -0,3888888 -0,7777777 ∞ 0,7777777 0,3888888 0,2592592

к

Двойное попарное сопоставление -0,06484148 -0,09722222 -0,19444444 ∞ 0,19444444 0,09722222 0,06484148

При получении результатов экспертиз ранжированием показатель эффективности также зависит от мнений n-го эксперта. Отсюда следует, что показатель эффективности алгоритмов определения весовых коэффициентов зависит только от мнения последнего эксперта и рассматриваемые алгоритмы равнозначны по показателю эффективности. Сравнение алгоритмов по показателю сложности можно производить по количеству выполняемых арифметических

операции. Так, для вычисления по способу ранжирования необходимо выполнить (n+m) сложений и одно деление, итого (n+m+1) арифметических действий. Для вычисления в случае попарного сопоставления необходимо выполнить n сложений, (m+2) деления, одно умножение и одно вычитание, итого (n+m+4) арифметических действия. Для вычисления по способу двойного попарного сопоставления необходимо выполнить (n+m+3) арифметических действий. Следовательно, по показателю сложности наиболее сложным является попарное сопоставление, а наименее сложным – способ ранжирования.

3.3 АТТЕСТАЦИЯ КОЭФФИЦИЕНТОВ

АЛГОРИТМОВ

УТОЧНЕНИЯ

ВЕСОВЫХ

В настоящее время существуют три способа уточнения весовых коэффициентов, полученных полным попарным сопоставлением, и ранжирование, которые основаны на методе последовательного приближения (см. п. 2.5.5). В случае определение весовых коэффициентов полным попарным сопоставлением результаты измерения в (ω+1) приближении будут равны: – первый способ:

Выводы 1. Наиболее устойчивым к изменениям мнений экспертов на противоположное является двойное попарное сопоставление, оно в два раза устойчивее, чем попарное сопоставление. Способ ранжирования менее устойчив к изменениям мнений на противоположное, чем двойное попарное сопоставление, но более устойчив, чем попарное сопоставление 2. Наиболее устойчивым к приращениям мнений экспертов также является двойное попарное сопоставление и наименее устойчивым – попарное сопоставление. 3. Наиболее чувствительным к приращениям согласованности мнений экспертов является попарное сопоставление, а наименее чувствительным – способ ранжирования. 4. Алгоритмы определения весовых коэффициентов зависят только от мнения последнего эксперта, и рассматриваемые алгоритмы равнозначны к изменениям мнений экспертов. 5. К наиболее сложным относится попарное сопоставление, а к наименее сложным – способ ранжирования. 6. При высокой точности измерения целесообразно использовать двойное попарное сопоставление, а при невысокой точности измерения и низкой согласованности мнений экспертов – способ ранжирования.

GJ (ϖ +1) = G1(ϖ) ⋅ Kj1 +G2 (ϖ) ⋅ Kj2 +...+Gm(ϖ) ⋅ Kjϖ ;

– второй способ:

Gj (ϖ) = (G1(ϖ−1))2 ⋅ Kj,1 +(G2(ϖ−1))2 ⋅ Kj,2 +...+(Gm(ϖ−1))2 ⋅ Kj,m ; – третий способ: Qj (ϖ) =

1 Kj,2

Kj,1

Kj,m

.

+ +...+ G1(ϖ −1) G2(ϖ −1) Gm(ϖ −1)

Очевидно, что значения весовых коэффициентов в ω приближении, определяются как G j (ϖ ) . g J (ϖ ) = m

∑ G (ϖ ) j =1

j

Уточнение результатов экспертиз, полученных ранжированием, также можно производить методом последовательного приближения. В этом случае в качестве первого приближения Gj(1) будет приниматься сумма рангов j-го показателя: n

G J (1) = ∑ Gij ,

(101)

i =1

где n – количество экспертов; Gij – ранг, поставленный j-му показателю i-м экспертом.

Дальнейшие действия будут производиться, так же как, в предыдущем случае. Алгоритмы уточнения весовых коэффициентов в случае ранжирования будут иметь вид: – первый способ:

Gj (ϖ) = (G1(ϖ −1))2 ⋅ Gj,1 +(G2(ϖ −1))2 ⋅Gj,2 +...+(Gm(ϖ −1))2 ⋅ Gj,ω ; – второй способ:

Gj (ϖ) = (G1(ϖ −1))2 ⋅ Gj,1 +(G2(ϖ −1))2 ⋅ Gj,2 +...+(Gm(ϖ −1))2 ⋅ Gj,ω ; – третий способ: Qj (ϖ) =

1 Gj,1

Gj,2

Gj,ϖ

.

+ +...+ G1(ϖ −1) G2 (ϖ −1) Gm(ϖ −1)

Уточнение весовых коэффициентов, полученных ранжированием, методом последовательного приближения не всегда приемлем, так как в этом случае приходится работать с большими числами. Поэтому алгоритмы уточнения результатов экспертиз исследовались методом последовательного приближения. Исследование алгоритмов уточнения весовых коэффициентов необходимо начинать с установления показателей качества этих алгоритмов. 3.4.1

НОМЕНКЛАТУРА

ПОКАЗАТЕЛЕЙ

КАЧЕСТВА

АЛГОРИТМОВ

УТОЧНЕНИЯ ВЕСОВЫХ КОЭФФИЦИЕНТОВ

Чтобы получить достаточно полное и наглядное представление о свойствах алгоритмов уточнения результатов экспертиз? необходимо установить показатели качества алгоритмов. Поскольку уточнение результатов экспертиз проводится для получения более достоверной информации о весовых коэффициентах, то для алгоритмов уточнения необходимо установить показатель, характеризующий точность алгоритма. Этим показателем может быть сходимость алгоритма, который показывает, насколько быстро можно достичь заданных значений точности. Также немаловажно узнать, как меняется сходимость алгоритма при изменении мнений экспертов. Поэтому для алгоритмов уточнения результатов экспертиз были

установлены следующие показатели качества: сходимость, устойчивость и сложность. Мерой сходимости было принято количество приближений, при которых весовые коэффициенты стремятся к некоторому постоянному значению с заданной точностью, т. е. при котором выполняется условие: (102) gj (ϖ) − gj (ϖ −1) ≤ ε . Показатель, характеризующий степень влияния изменений мнений экспертов на скорость сходимости алгоритма, назван показателем устойчивости, который может быть определен как изменение количества приближений при изменений мнений экспертов: ∆ϖ = ϖ1 −ϖ2 , (103)

где ϖ 1 и ϖ 1 - количество приближений при первоначальном и повторном проведении экспертизы. Показатель сложности характеризует сложность однократного вычисления по данному алгоритму. Мерой сложности являются количество арифметических и логических операций, которые необходимо выполнить для однократного вычисления по данному алгоритму. 3.4.2 ИССЛЕДОВАНИЕ ПОКАЗАТЕЛЕЙ УТОЧНЕНИЯ ВЕСОВЫХ КОЭФФИЦИЕНТОВ

КАЧЕСТВА

АЛГОРИТМОВ

Показатели качества алгоритмов уточнения весовых коэффициентов зависят только от количества приближений. Поскольку количество приближений в явном виде не входит в выражение для определения весовых коэффициентов, то показатели качества алгоритмов уточнения весовых коэффициентов необходимо определять на типовых моделях исходных данных, т.е. имитационным моделированием. Для исследования качества алгоритмов уточнения весовых коэффициентов необходимо, прежде всего, разработать схему определения показателей качества для алгоритмов уточнения весовых коэффициентов. Схема определения показателей качества алгоритмов уточнения приведена в таблице 21. Как уже говорилось выше, мерой сходимости является количество приближений, при котором

∆gj = gj (ϖ) − gj (ϖ −1)

достигнет заданного значения ε . Таблица 21 – Схема определения показателей качества

№

Алгоритмы

Показатели

Метод определения

уточнения весовых коэффициентов 1

Первый

Сходимость

Имитационное моделирование

2

Второй

Устойчивость

3

Третий

Сложность

На рисунке 12 представлен график зависимости показателя сходимости алгоритмов от количества приближений.

достигает наперед заданного значения быстрее, уточнении остальными способами. Следовательно, точным является второй способ; вторым по точности способ последовательного приближения, а третий наименее точным.

чем при наиболее – первый способ –

Показатель устойчивости характеризует изменение скорости сходимости алгоритма при изменении мнений экспертов на противоположное. По результатам многократного моделирования исходных данных при изменении мнений экспертов на противоположное показатель устойчивости алгоритмов меняется на один или два приближения для всех алгоритмов. Скорость сходимости алгоритмов фактически не меняется. В качестве примера в таблице 22 приведены значения показателей устойчивости при изменении мнений экспертов на противоположное для различных алгоритмов.

0.075604 d

1,( k

1)

d

2,( k

1)

d

3,( k

1)

d

4,( k

1)

d

5,( k

1)

0.065055

0.1

Таблица 22

Алгоритмы

0.05

Показатель устойчивости ∆ϖ = ϖ1 − ϖ 2

0

1-й 0.05

0.1 2

способ 0

10

20 k

30

2-й способ

й способ

40 40

Рисунок 12 – Зависимость показателя сходимости от количества приближений алгоритма уточнения весовых коэффициентов первым способом Из рисунка 12 видно, что при уточнении весовых коэффициентов вторым способом показатель сходимости

3-

Пример 1

1

0

0

Пример 2

2

2

2

Пример 3

0

0

0

343.3 СРАВНИТЕЛЬНЫЙ ВЕСОВЫХ КОЭФФИЦИЕНТОВ

АНАЛИЗ

АЛГОРИТМОВ

УТОЧНЕНИЯ

В результате многократного моделирования исходных данных выявлено, что быстрее достигает заданного значения среднее квадратическое взвешенное. Вторым по сходимости является среднее арифметическое взвешенное, а среднее гармоническое

взвешенное

очень

медленно

стремится

к

По результатам таблицы 22, а также по результатам многократного моделирования исходных данных с изменением мнений экспертов на противоположное можно прийти к выводу о том, что показатель устойчивости алгоритмов остается почти неизменным Для сравнения алгоритмов по показателю сложности также арифметических

определить операции

количество по

разным

выполняемых алгоритмам.

Для

однократного вычисления по первому способу уточнения весовых коэффициентов необходимо выполнить следующие операции: (4m+n) – сложений, 3m – делений, и m – умножений; по второму способу – (4m+n) – сложений, 3m – делений, m – умножений, (m+1) – возведений в квадрат; по третьему способу – (3m+n) – сложений,

(3m+1) – делений, m – умножений.

Следовательно, самым сложным является алгоритм уточнения весовых

коэффициентов

распространен на

другие виды средних взвешенных. 2. Наиболее точным является второй способ уточнения весовых коэффициентов, а наименее точным – третий способ. 3. Сходимость алгоритмов фактически не зависит от изменений мнений экспертов. 4. Наиболее сложным является алгоритм уточнения

некоторому заданному значению.

необходимо

для уточнения весовых коэффициентов,

вторым

способом,

вторым

по

сложности – третий способ, а наименее сложным – первый способ.

Выводы 1. Метод последовательного приближения, применяемый

весовых коэффициентов вторым способом, а наименее сложным – первым способом. 5. При высокой точности измерения для уточнения весовых коэффициентов целесообразно выбрать второй способ последовательного приближения, а при невысокой точности – первый способ. 3.5 АТТЕСТАЦИЯ АЛГОРИТМОВ КОМПЛЕКСИРОВАНИЯ ПОКАЗАТЕЛЕЙ КАЧЕСТВА

Исследовались наиболее распространенные четыре основных алгоритма комплексирования показателей качества: среднее арифметическое; геометрическое; гармоническое; квадратическое взвешенные (7, 21, 22, 230) и алгоритмы комплексирования по трехуровневой шкале (26, 27). Большинство отечественных и зарубежных исследователей при разработке способов комплексной оценки качества, с учетом весомости свойств, отдает предпочтение среднеарифметической взвешенной оценке из-за, простоты вычисления. Действительно, алгоритм комплексирования показателей качества по принципу среднего арифметического взвешенного является наиболее простым по количеству выполняемых арифметических операций. В соответствии с общей схемой аттестации алгоритмов комплексирования

для

исследования

качества

алгоритмов

прежде всего необходимо установить показатели качества алгоритмов. 3.5.1 НОМЕНКЛАТУРА ПОКАЗАТЕЛЕЙ КАЧЕСТВА АЛГОРИТМОВ КОМПЛЕКСИРОВАНИЯ

Применительно к алгоритмам комплексирования необходимо устанавливать такие показатели качества, которые определяют точность полученных результатов. Так как точность полученных результатов в данном случае зависит от точности определения весовых коэффициентов и проставленных оценок каждому показателю, то целесообразно выбрать такие показатели, которые характеризуют качество исходных данных, т. е. качество как отдельного эксперта, так и экспертной комиссии в целом. Кроме того, определенный интерес представляют показатели, характеризующие изменения количества экспертов. Известно, что повышать точность измерения можно путем увеличения количества измерения. Необходимо проверить правильность данного положения в случае экспертных методов измерения. Поэтому для алгоритмов комплексирования показателей качества, аналогично алгоритмам определения весовых коэффициентов, установлены следующие показатели: – устойчивости к изменениям значений каждого из единичных показателей Q j , характеризующий степень влияния изменения значения единичного показателя на комплексный показатель – П1( α ); – чувствительности к качеству исходных данных, характеризующий степень влияния согласованности мнений экспертов на комплексный показатель – П2( α ); – эффективности, характеризующий влияние изменения количества экспертов на комплексный показатель – П3( α ); – сложности, характеризующие вычислительные затраты при однократном использовании алгоритма – П4( α ). К показателям устойчивости к изменениям значений единичных показателей относятся:

– устойчивости к приращениям значений единичных показателей

Qj ,

характеризующий

степень

влияния

приращения значения единичного показателя на комплексный показатель – П11( α ): – устойчивости к изменениям значений единичных показателей на противоположное, характеризующий степень влияния этого изменения на комплексный показатель – П12 ( α ). Показатель устойчивости к приращениям значений единичных

показателей

определяют

как

дифференциал

комплексного показателя качества: ( ∂Q (104) П 11 ( a ) = ∂Q j За меру показателя устойчивости к изменениям значений единичных показателей на противоположное принято изменение комплексного показателя качества при изменении значений единичных показателей: ( ( ( (105) ∆Q = ∆Q1 − ∆Q2 , ( ( где ∆Q1 и ∆Q2 – комплексный показатель качества при первоначальном проведении и после повторного проведения экспертизы. Основным показателем чувствительности к качеству исходных данных является показатель чувствительности к приращениям мнений экспертов. В качестве меры чувствительности к приращениям согласованности мнений экспертов принят дифференциал комплексного показателя качества ( ∂Q . (106) П 2 (a ) = ∂W j В качестве меры эффективности принято изменение комплексного показателя качества от изменения числа экспертов:

( ( ( ∆ Q э = ∆ Q n − ∆ Q n −1 ,

(107)

(

(

где ∆Qn и ∆Qn−1 – комплексный показатель качества при числе экспертов n и (n-1) соответственно. Очевидно, при определении показателя эффективности алгоритмов необходимо соблюдать следующее условие: Wn ≈ Wn−1 , где Wn и Wn−1 – степень конкордации экспертной комиссии из n и (n-1) экспертов. Сложность алгоритмов комплексирования определяется также по количеству выполняемых арифметических операций. Исследование выбранных показателей качества алгоритмов следует определять на наборе типовых моделей исходных данных аналитическим или имитационным моделированием. 3.5.2 ИССЛЕДОВАНИЕ КОМПЛЕКСИРОВАНИЯ

ПОКАЗАТЕЛЕЙ

КАЧЕСТВА

АЛГОРИТМОВ

Как видно из краткого описания способов комплексирования показателей качества (п. 2.5.4), алгоритмы комплексирования различаются математическими критериями, лежащими в основе построения алгоритмов. Поэтому задача аттестации алгоритмов комплексирования становится особо актуальной. Прежде всего, приведем общую схему аттестации алгоритмов комплексирования (табл. 23). Таблица 23 – Общая схема аттестации алгоритмов комплексирования Алгоритмы Средние взвешенные Комплексирования по трехуровневой шкале

Показатель качества алгоритмов

Способ определения показателей качества

Устойчивость Чувствительность Эффективность

Аналитический Имитационное моделирование

Сложность

3.5.2.1 ИССЛЕДОВАНИЕ ПОКАЗАТЕЛЕЙ УСТОЙЧИВОСТИ К ПРИРАЩЕНИЯМ ЗНАЧЕНИЙ ЕДИНИЧНЫХ ПОКАЗАТЕЛЕЙ АЛГОРИТМОВ КОМПЛЕКСИРОВАНИЯ

Показатель

устойчивости,

определяемый

как

дифференциал комплексного показателя арифметического взвешенного, равен: ∂Q ∂ = ∂Q j ∂Q j

для

среднего

 m   ∑ g jQ j  =    j =1 

 ∂  m  ∑ g λ ⋅ Qλ + g j ⋅ Q j ∂ Q j  λ=1  λ≠ j

  . = gj  

(107)

Для среднего геометрического взвешенного: ∂Q ∂  m gj  ∂ = П Qj  = ∂Q j ∂ Q j  j =1  ∂Q j

 m   П Q λg λ   λλ=≠1j 

   ⋅Q gj  . j    

(108)

Постоянный множитель обозначим через С, равный m

C = П Qλgλ . λ=1 λ≠ j

Тогда формула (108) примет вид:

(

)

( )

∂Q ∂ ∂ g g g −1 = C ⋅Qj j = C Qj j = C ⋅Qj j . ∂Q j ∂Q j ∂Q j

(109)

Для среднего гармонического взвешенного   ~ ∂  1 ∂Q = ∂Q j  m g j ∂Q j ∑  j =1 Q j 

Полагая

  .    

(110)

m ~ Q = и −1 , где и = ∑ g j ,

j =1 Q j ~ 1 , имеем: ∂Q = −1u − 2 = − 2 ∂и m  g  ∑ j   j =1 Q  j    ∂u ∂  m g j  ∂  m  ∑ g j ⋅ Q −j 1  = = = ∑     ∂Q j ∂Q j  j =1 Q j  ∂Q j  j =1 

(111)

=

  ∂  m g λ ⋅ Q λ−1 + g j ⋅ Q −j 1  = − g j ⋅ Q −j 2 . ∑  ∂ Q j  λ=1  λ≠ j 

(112)

8

7.389952

Следовательно,

6

~ ~ gj ∂Q ∂Q ∂u 1 . = ⋅ =+ ⋅ g j ⋅ Q−j 2 = 2 2 ∂Qj ∂u ∂Qj m g   m gj   j ∑  Q2j ∑   j=1 Q   j=1 Q  j  j   

D1 ( α1 )

(113)

D2 ( α2 )

4

D3 ( α3 )

2

Для среднего квадратического взвешенного

) ∂Q ∂ = = ∂Q j ∂ Q j

m

2.061965

∑ g j ⋅Q . 2 j

j =1

(114)

Здесь имеем следующую цепочку зависимостей: 1 2

m

~ Q = u ,u =

∑g j =1

Тогда ~ 1 ∂Q 1 − 2 = u = ∂u 2

j

⋅ Q 2j . 1

2⋅

∑g j =1

∂u ∂ = ∂Q j ∂Q j

,

m

j

(115)

⋅ Q 2j

   ∑ g j ⋅ Q 2j  =    j =1  m

  ∂  m 2 2  =  ∑ g λ ⋅ Qλ + g j ⋅ Q j  = 2 g j ⋅ Q j ; ∂ Q j  λ=1   λ≠ j 

(116)

~ ~ ∂Q ∂Q ∂u = ⋅ = ∂Q j ∂u ∂Q j

(117)

2g j ⋅ Q j m

2

∑g j =1

j

⋅Q

. 2 j

На рисунке 13 представлены графики зависимостей показателей устойчивости к приращениям значений единичных показателей алгоритмов комплексирования.

.10

3

0

0 1

5

10 α1 , α2 , α3

15

20 20

Рисунок 13 – Зависимость показателя устойчивости к приращениям значений единичных показателей при изменении значений от 1 до 20: D1( α 1) – зависимость показателя чувствительности среднего геометрического взвешенного; D2( α 2) – среднего гармонического взвешенного; D3( α 3) – среднего квадратического взвешенного. Графики зависимостей показателей устойчивости средних взвешенных, представленные на рисунке 13, определены при изменении одного из единичных показателей от 1 до 20 и постоянных значениях остальных. Из рисунка 13 видно, что наиболее устойчивым к приращениям значений единичных показателей является среднее геометрическое взвешенное, а наименее устойчивым – среднее квадратическое взвешенное. Для среднего арифметического взвешенного показатель устойчивости – постоянная величина. 3.5.2.2 ИССЛЕДОВАНИЕ ПОКАЗАТЕЛЕЙ УСТОЙЧИВОСТИ К ИЗМЕНЕНИЯМ ЗНАЧЕНИЙ КАЖДОГО ИЗ ЕДИНИЧНЫХ ПОКАЗАТЕЛЕЙ НА ПРОТИВОПОЛОЖНОЕ АЛГОРИТМА КОМПЛЕКСИРОВАНИЯ ПО ТРЕХУРОВНЕВОЙ ШКАЛЕ

Для определения показателей устойчивости к изменениям значений единичных показателей при комплексировании по трехуровневой шкале рассмотрим шесть возможных случаев.

Случай 1. Допустим, что при проведении экспертизы i-й эксперт поменял свое мнение по j-му показателю следующим образом: первоначально он поставил j-му показателю низкий уровень, при повторном проведении экспертизы – средний уровень. Тогда число показателей низкого уровня уменьшится на единицу, а число показателей среднего уровня соответственно увеличится на единицу. Следовательно, комплексный показатель до и после повторного проведения экспертизы будет равен:

 n н −1 (  Q1 = 1 −  ∑ g нλ − g н j  λ=1  λ≠ j

  nc      − 0 ,5  ∑ g c λ  ;   λ=1    λ≠ j 

(118)

  nc  nн −1  (     Q2 = 1 −  ∑ g нλ  − 0,5 ∑ g cλ + g c j  . (119)   λ=1   λ=1   λ≠ j   λ≠ j Тогда показатель устойчивости П1 ( a ) будет равен: ( ( П1 ( a ) = ∆Q = Q1 − Q2 =

 n н −1  = 1 −  ∑ g нλ − g н j  λλ=≠1j 

  nc    − 0 ,5  ∑ g c λ   λλ=≠1j  

  −  

 n н −1   nc      1 +  ∑ g н λ  + 0 ,5  ∑ g c λ + g c j  = − g H j + 0 . 5 g c j =  λ=1   λ=1   λ≠ j   λ≠ j  = 0,5 g c j − g н j . (120) Случай 2. Допустим, что при повторной экспертизе i-й эксперт поменял свое мнение по j-му показателю следующим образом: первоначально он поставил j-му показателю средний уровень, а при повторном проведении экспертизы – низкий уровень. Тогда комплексный показатель после повторного проведения экспертизы примет следующий вид:

 nн  nc −1 (   Q 2 = 1 −  ∑ g н λ + g н j  − 0 ,5 ∑ g cλ ; λ=1  λ=1  λ≠ j  λ≠ j 

(121)

 nC −1  nH ( ( (   П1 (a) = ∆Q = Q1 − Q2 = 1 − ∑ gHλ − 0,5 ∑ gCλ + gCj  − λ=1  λλ=≠1j  λ≠ j   nH

nC −1

λ=1 λ≠ j

λ=1 λ≠ j

− 1 + ∑ g Hλ + g H j + 0,5∑ gCλ =g H j − 0,5gC j .

(122)

Случай 3. Пусть i-й эксперт при проведении экспертизы первоначально поставил j-му показателю высокий уровень, затем, после повторного проведения экспертизы, он же поставил j-му показателю средний уровень. В данном случае комплексный показатель качества после повторного проведения экспертизы будет иметь вид:

  nC −1 nH (   Q2 = 1 − ∑ g H λ − 0,5 ∑ g Cλ − g C j  ; λ=1   λ=1   λ≠ j

(123)

 nC −1  nH ( (   П1 (a) = ∆Q = Q1 − Q2 = 1 − ∑ g Hλ − 0,5 ∑ g Cλ  − λ=1  λ=1   λ≠ j  nH

nC −1

λ=1

λ=1 λ≠ j

− (1 − ∑ g H λ − 0,5 ∑ g Cλ +g C j ) = g C j .

(123)

Случай 4. Предположим, что первоначально i-й эксперт поставил j-му показателю высокий уровень, после повторного проведения экспертизы он же поставил j-му показателю низкий уровень. В этом случае комплексный показатель качества Q2 можно выразить следующим образом:

 nH  nC (   Q2 = 1 −  ∑ g H λ + g H j  − 0,5∑ g Cλ . λ=1  λλ=≠1j    Тогда ∆Q будет равен:

Тогда, (124)

  nC −1  nH nC ( (    П1 (a ) = ∆Q = Q1 − Q2 = 1 − ∑ − 0,5∑ g Cλ −1 −  ∑ g H λ + g H j   − λ=1 λ=1    λλ=≠1j λ≠ j    nC

− 0,5∑ g Cλ =g H j .

(125)

λ=1

Случай 5. Пусть i-й эксперт поставил j-му показателю первоначально низкий уровень, после повторного проведения экспертизы поставил этому же показателю высокий уровень. Тогда комплексный показатель можно выразить следующим образом:  nH  nC (   (126) Q2 = 1 −  ∑ g H λ  − 0,5∑ g C j . λ = 1 λ = 1  λ≠ j    Значит,

 nH (  П1 (a ) = ∆Q = 1 −  ∑ g H l + g H l  λ=1  λ≠ j nH

nc

l −1 l≠ j

l =1 l≠ j

− 1 + ∑ g H l + 0 ,5 ∑ g c l = − g H j

 nC  − 0 , 5 g Cl − ∑  λ=1  l≠ j 

   nC n    − 1 − ∑ g H λ −0,5 ∑ g Cλ  = − g C j .  λ=1    λ=1  j λ ≠  

(129)

3.5.2.3 ИССЛЕДОВАНИЕ ПОКАЗАТЕЛЕЙ ЧУВСТВИТЕЛЬНОСТИ К ПРИРАЩЕНИЯМ СОГЛАСОВАННОСТИ МНЕНИЙ ЭКСПЕРТОВ АЛГОРИТМОВ КОМПЛЕКСИРОВАНИЯ

Рассмотрим показатели чувствительности к приращениям согласованности мнений экспертов для разных алгоритмов. Для алгоритмов комплексирования по принципу среднего арифметического взвешенного П 21 ( a ) равно: (  ∂Q ∂  m ∑ g j ⋅Qj  . =   ∂ w ∂ w  j =1  Здесь имеем цепь следующих зависимостей:

~ Q =

m

∑

j =1

Pj;

Pj = g j ;

(130)

g j = f (w) .

Следовательно,

(127)

Случай 6. Пусть i-й эксперт первоначально поставил j-му показателю средний уровень, а после повторной экспертизы – высокий уровень. В этом случае Q2 можно выразить следующим образом:

 nC  nH (   Q 2 = 1 − ∑ g H λ − 0 ,5  ∑ g C λ  . λ=1  λ=1   λ≠ j 

  nC n ( ( (   П1 (a) = ∆Q = Q1 − Q2 = 1 − ∑ g Hλ − 0,5 ∑ g Cλ + g C j )  − λ=1   λ=1   λ≠ j

(128)

( ( ∂ Q ∂ Q ∂ Pj ∂ g j = ⋅ ⋅ ; ∂ w ∂ Pj ∂ g j ∂ w ( ∂Q ∂  m  ∂ = ∑Pj  = (P1 + P2 + P3 +...+ Pj +...+ Pm ) =1 ; ∂Pj ∂Pj  j=1  ∂Pj ∂ Pj ∂ (g j ⋅ Q j ) = Q j . = ∂g j ∂g j ∂g j

Из формулы (80) имеем значение

∂w

(131) (132) (133)

.

Для сокращения записей правую часть выражения (80) обозначим через К:

n  m n  n 2 m 2 (m + 1) ∑ ∑ Gij − ∑ Gij  i =1  j =1 i=1  . (134) k= 2 m n n m m n     1 24 ∑∑ Gij  ∑  ∑ Gij − ∑∑ Gij  m j =1 i=1   j =1 i=1  j =1  i=1 Тогда можно записать: ∂g j (135) =k. ∂w Подставив в формулу (131) выражения (132), (133) и (134), получим:

( ∂Q = k ⋅ Qj . ∂w

600

400 D1 ( α2 ) D2 ( α2 )

200

D3 ( α2 ) 0

D4 ( α2 ) D5 ( α2 ) D6 ( α2 )

200

400

406.090136

600

5

10

15

20 25 30 α2 , α2 , α2 , α2 , α2 , α2

7

(136)

То есть чувствительность алгоритма к качеству исходных данных зависит от значения единичного показателя качества

Qj

402.78859

и от коэффициента К, который представляет собой

показатель чувствительности к качеству исходных данных алгоритма определения весовых коэффициентов при получении результатов экспертиз ранжированием. На рисунке 14 приведен график зависимости показателя чувствительности среднего арифметического взвешенного к приращениям согласованности мнений экспертов. Как видно из рисунка 14, при приближении суммы рангов j-го показателя к среднему арифметическому рангу показатель чувствительности ассимптотически возрастает. Сумма рангов j-го показателя будет равна среднему арифметическому рангу только при полной рассогласованности мнений экспертов по j-му показателю. Следовательно, при увеличении рассогласованности мнений по j-му показателю показатель чувствительности стремится к своему максимальному значению.

35

40

45 42

Рисунок 14 – Зависимость показателя чувствительности среднего арифметического взвешенного к приращениям согласованности мнений экспертов при n=7, m=6 и значении j - го показателя качества от 1 до 20; D2( α 2) при Qj=1; D21( α 2) при Qj=5; D22( α 2) при Qj=10; D23( α 2) при Qj=14; D24( α 2) при Qj=17; D25( α 2) при Qj=20 Для алгоритма комплексирования по принципу среднего геометрического взвешенного показатель чувствительности к приращениям согласованности мнений экспертов будет равен:

( ∂Q ∂  m gj  =  П Qj  . ∂w ∂w  j =1 

(137)

Введем следующие обозначения:

~ m Q = П Pj ; j =1

g

Pj = Q j j ;

g j = f (w) .

Откуда можем написать:

( ( ∂Q ∂Q ∂Pj ∂g j = ⋅ ⋅ ; ∂w ∂Pj ∂g j ∂w

(138)

( ∂Q ∂ = ∂Pj ∂Pj

∂Pj ∂g j

=

m  ∂ Pj  = П  j =1  ∂P j

( )

 m      m gj ; Ql  ПPl  ⋅ Pj  = lП =1   = l 1 ≠ l j  l≠ j    

(139)

∂ g g Q j j = Q j j ⋅ λn ⋅ Q j . ∂g j

(140)

Подставив выражения (134), (139) и (140) в формулу (138), получим:

( m ∂Q m gj gj g = ПQj ⋅ Qj ⋅ λnQj ⋅ k =Qj ⋅ gj ⋅ k ⋅ λnQj ⋅ ПQj j . l=1 ∂w j=1 l≠ j

(141)

График зависимости показателя чувствительности среднего геометрического взвешенного от приращения согласованности мнений экспертов приведен на рисунке 15.

5.071149

.10 4

6 10

4 10 D1 ( α2 ) D2 ( α2 )

2 10

4

4

4

D3 ( α2 ) 0

D4 ( α2 ) D5 ( α2 ) D6 ( α2 )

2 10

4 10

5.02992

.10 4

6 10 7

Из графика, представленного на рисунке 15, видно, что показатель чувствительности среднего геометрического взвешенного также стремится к своему максимальному значению при увеличении рассогласованности мнений экспертов по j-му показателю и достигает своего максимума при полной рассогласованности мнений экспертов. Для алгоритма комплексирования по принципу среднего гармонического взвешенного имеем:

  ( ∂Q ∂  1 = ∂w ∂w  m g j ∑  j =1 Q j 

   .   

(142)

Здесь идет цепь следующих зависимостей: m gj ~ 1 ; Pj = ∑ G j ; G j = ; g j = f ( w) . Q= Qj Pj j =1 Следовательно, ( ( ∂Q ∂Q ∂Pj ∂G j ∂g j ; (143) ⋅ ⋅ ⋅ = ∂w ∂Pj ∂G j ∂g j ∂w ( ∂Q ∂  1  ∂ (144) = = Pj−1 = Pj−2 ;   ∂Pj ∂Pj  Pj  ∂Pj ∂Pj ∂ m  ∂ (145) G1 +G2 +...+Gj +...+Gm =1; = ∑Gj  = ∂Gj ∂Gj  j=1  ∂Gj ∂G j ∂  g j  1 . (146) = = ∂g j ∂g j  G j  G j Подставив в формулу (150) выражения (151), (152), (153) и (151) получим: −2 ( k ⋅Qj  m g j  ∂Q 1 −2 ∑  (147) = − Pj ⋅ 1 ⋅ ⋅k = − Gj g j  j =1 Q j  ∂w

( )

4

(

4

4 5

10

15

20 25 30 α2 , α2 , α2 , α2 , α2 , α2

35

40

45 42

Рисунок 15 – Зависимость показателя чувствительности среднего геометрического взвешенного к приращениям согласованности мнений экспертов при n=7, m=6 и значении j - го показателя качества от 1 до 20: D1( α 2) при Qj=1; D2( α 2) при Qj=5; D3( α 2) при Qj=10; D4( α 2) при Qj=14; D5( α 2) при Qj=17; D6( α 2) при Qj=20

)

На рисунке 16 представлен график зависимости показателя чувствительности среднего гармонического взвешенного от приращения согласованности мнений экспертов.

5.071149

.10 4

6 10

4 10 D1 ( α2 ) D2 ( α2 )

2 10

4

4

∂G j

D6 ( α2 )

4 10

5.02992

.10 4

∂G j

0

D4 ( α2 ) 2 10

6 10

4

4

4 5

10

15

7

20 25 30 α2 , α2 , α2 , α2 , α2 , α2

35

40

45 42

Рисунок 16 – Зависимость показателя чувствительности среднего гармонического взвешенного к приращениям согласованности мнений экспертов при n=7, m=6 и значении j - го показателя качества от 1 до 20; D1 ( α 2) при Qj=1; D2( α 2) при Qj=5; D3( α 2) при Qj=10; D4( α 2) при Qj=14; D5( α 2) при Qj=17; D5( α 2) при Qj=20 Из рисунка 16. видно, что показатель чувствительности среднего гармонического взвешенного также стремится к своему максимальному значению при полной рассогласованности мнений по j-му показателю. Для алгоритма комплексирования показателей качества по принципу среднего квадратического взвешенного имеем: (  ∂  m ∂Q (148) g j ⋅Q 2j  . = ∑   ∂ w  j =1 ∂w  Здесь также имеем цепочку зависимостей:

~ Q = Pj ;

( ( ∂Q ∂Q ∂Pj ∂G j ∂g j ; ⋅ ⋅ ⋅ = ∂w ∂Pj ∂G j ∂g j ∂w ( 1 1 − ∂Q ∂ 1 = P j2 = ⋅ P j 2 ; ∂Pj ∂Pj 2 ∂ Pj

4

D3 ( α2 )

D5 ( α2 )

Значит,

m

Pj = ∑G j ; j =1

G j = g j ⋅ Q2j ;

g j = f (w) .

∂ ∂G j

=

(149) (150)

  m  ∑ G j  = 1;     j =1

(151)

∂ (152) g j ⋅ Q 2j = Q 2j . ∂g j ∂g j Подставив выражения (150), (151), (152) и (134) в формулу (149), получим: ( 1 − kQ 2j ∂Q 1 2 2 . (153) = ⋅ Pj ⋅1 ⋅ Q j ⋅ k = 2 ∂Pj 2 g j ⋅ Q 2j

(

=

)

На рисунке 17 представлен график зависимости показателя чувствительности среднего квадратического взвешенного от приращения согласованности мнений экспертов. 50.311952

D1 ( α2 )

100

50

D2 ( α2 ) D3 ( α2 ) D4 ( α2 )

0

D5 ( α2 ) D6 ( α2 )

50.724345

50

100 7

5

10

15

20 25 30 α2 , α2 , α2 , α2 , α2 , α2

35

40

45 42

Рисунок 17 – Зависимость показателя чувствительности среднего квадратического взвешенного к

приращениям согласованности мнений экспертов при n=7, m=6 и значении j - го показателя качества от 1 до 20: D1 ( α 2) при Qj=1; D2( α 2) при Qj=5; D3( α 2) при Qj=10; D4( α 2) при Qj=14; D5( α 2) при Qj=17; D6( α 2) при Qj=20 Для алгоритма комплексирования по трехуровневой шкале показатель чувствительности к качеству исходных данных будет равен: ( nC nH  ∂Q ∂  1 − ∑ g Hj − 0,5∑ g Cj  . (154) =  ∂w ∂w  j =1 j =1  Введем следующие обозначения: nC nH ~ Q = 1 − Pj ; Pj = ∑ g Hj + 0,5∑ g Cj ; g j = f ( w) ; j =1

j =1

∂Q j

(

∂Pj

nC  nH   ∑ g Hj + 0,5∑ g Cj  = 1 + 0,5 = 1,5 .   j =1  j =1 

∂ = 1 − Pj = −1 ; ∂Pj ∂Pj

∂ = ∂g j ∂g j

)

∂Q j ∂ Pj ∂Pj ∂g j

=

(155)

=

∂ ∂g j

(

)

nC  nH   ∑ g Hj + 0,5∑ gCj  = 1 + 0,5 = 1,5 ;   j =1  j =1 

Следовательно,

( ∂Q = − 1 ⋅ 1, 5 ⋅ k = − 1, 5 k . ∂w

(160)

На рисунке 18 представлен график зависимости показателя чувствительности алгоритма комплексирования по трехуровневой шкале от приращения согласованности мнений экспертов. 8.714286

10

5

D2 ( α2 )

0

5

(156) 8.785714

j =1

∂ 1 − Pj = − 1 ; ∂ Pj

=k.

∂w

D1 ( α1 )

Для алгоритма комплексирования по трехуровневой шкале показатель чувствительности к качеству исходных данных будет равен: ( nC nH  ∂Q ∂   1 − ∑ g Hj − 0,5∑ g Cj  . (157) =   ∂w ∂w  j =1 j =1  Введем следующие обозначения: nH nC ~ Q = 1 − Pj ; Pj = ∑ g Hj + 0,5 ∑ g Cj ; g j = f ( w ) ; j =1

∂g j

(158) (159)

10

0 7

10

20

30

40

α1 , α2

50 49

Рисунок 18 – Зависимость показателя чувствительности алгоритма комплексирования по трехуровневой шкале к приращениям согласованности мнений экспертов D1 ( α 1) при n=7, m=7; D2( α 2) при n=7, m=6 Из рисунка 18 видно, что показатель чувствительности к приращениям мнений экспертов при комплексировании по 3уровневой шкале также стремится к своему максимуму при увеличении рассогласованности мнений экспертов. 3.5.2.4 ИССЛЕДОВАНИЕ ПОКАЗАТЕЛЕЙ ЧУВСТВИТЕЛЬНОСТИ К ИЗМЕНЕНИЯМ СОГЛАСОВАННОСТИ МНЕНИЙ ЭКСПЕРТОВ АЛГОРИТМОВ КОМПЛЕКСИРОВАНИЯ

Показатель чувствительности к изменениям согласованности мнений экспертов П 22 (a ) следует определять

при фиксированных значениях коэффициента конкордации W. Можно предположить, что экспертная комиссия с согласованностью мнений W будет проводить экспертизу с той же согласованностью. Поэтому для определения показателя чувствительности к изменениям согласованности мнений экспертов можно моделировать различные сочетания исходных данных, определить коэффициент конкордации и предположить, что такое сочетание исходных данных свойственно экспертной комиссии с таким же коэффициентом конкордации. На рисунке 19 приведена зависимость показателей чувствительности алгоритмов комплексирования к изменениям согласованности мнений экспертов. 0.666667

При

r l

f

e

не меняется. Тогда при

Рассмотрим два возможных случая определения показателя эффективности для разных алгоритмов: при увеличении и при уменьшении числа экспертов. При определении комплексного показателя по принципу среднего арифметического взвешенного П 3 ( a) равно:

( ( ( ∆ Q э = Q n − Q n −1

Случай 1. Допустим, что количество увеличилось на единицу. В этом случае

0.8

( ( ( ∆Qэ = Qn − Qn−1 n

0.2

m ( Qn = ∑

0

j =1

0.2

0 0.05

0.1

0.2

0.3

0.4

0.5 w f

0.6

0.7

0.8

0.9

Рисунок 19 – Зависимость показателей чувствительности алгоритмов комплексирования к изменениям согласованности мнений экспертов при n=11, m=5: v– среднего арифметического взвешенного; r – среднего геометрического взвешенного; l – среднего гармонического взвешенного; e – среднего квадратического взвешенного Из графика видно, что наиболее чувствительным к изменениям согласованности мнений экспертной комиссии, является среднее арифметическое взвешенное, следующим по чувствительности – среднее квадратическое взвешенное, далее – среднее гармоническое взвешенное и наименее чувствительным – среднее геометрическое взвешенное. 3.5.2.5 ИССЛЕДОВАНИЕ ПОКАЗАТЕЛЕЙ АЛГОРИТМОВ КОМПЛЕКСИРОВАНИЯ

ЭФФЕКТИВНОСТИ

1 1

∑G i =1

m

ij

⋅Q j ;

n

∑∑G j =1 i =1

ij

n

m ( Q n −1 = ∑

j =1

∑G i =1

m

ij

⋅Qj

n

∑∑G j =1 i =1

ij

Введем следующие обозначения: m n −1

∑∑ G j =1 i =1

ij

= Gn ;

И выразим Тогда

( Qn

(161) экспертов (162)

где

0.4

f

0.123333

Qj

эффективности

увеличении или уменьшении количества экспертов меняется только g j .

f

f

показателя

предположим, что значения

0.6 V

определении

m

n −1

∑∑G j =1 i =1

ij

( Q через n−1 .

= Gn−1 .

m

  n  n    G  ∑ Gij  ∑ ij m m (   i =1 i =1  ⋅ Qj  = Qn = ∑  m n ⋅ Qj  = ∑   G j =1 n  j =1   ∑∑ Gij      j =1 i =1 1 m  n −1  =  ∑ Gij + Gnj  ⋅ Q j = ∑ Gn j =1  i =1  m n −1 G G 1 m ij = n −1 ∑ ∑ ⋅Qj + ∑ G nj ⋅ Q j = G n j =1 i =1 G n −1 G n j =1

=

Gn−1 1 ⋅ Qn−1 + Gn Gn

m

∑G j =1

nj

⋅ Qj .

∆Q = Q n − Q n −1 = Q n −

=

(163)

Показатель эффективности П 3 ( a ) при увеличении числа экспертов на единицу будет равен:

( ( ( ( ( G 1 m ∆Qэ = Qn − Qn−1 = n−1 ⋅ Qn−1 + G ⋅ Q − Q ∑ nj j n−1 = Gn Gn j =1 m (  1  m  . = ⋅ − ⋅ G Q Q G (164) ∑ ∑ n , j j n − 1 nj  Gn  j =1 j =1 

[ ]

Подставив в выражение (162) значения введенных обозначений получим: n −1      m ∑Gij  m m  ( 1 ∆Q = m n ⋅ ∑Gnj ⋅ Qj −  ∑ mi =1n ⋅ Qj  ⋅ ∑Gnj  (165)   Gij  j =1  j =1 ∑∑Gij  j =1  ∑∑ j =1 i =1  j =1 i =1   э Случай 2. Допустим, что количество экспертов уменьшилось на единицу. В этом случае выразим Qn−1 через Qn из формулы (163). m

G n Q n − ∑ G nj ⋅ Q j

j =1 . (166) G n −1 Следовательно, показатель эффективности будет равен:

Q n −1 =

G n Q n − ∑ G nj ⋅ Q j j =1

G n −1

=

m (  1 m  ∑ G nj ⋅ Q j − Q n ⋅ ∑ G nj  . G n −1  j =1 j =1 

(167)

Подставив в выражение (174) значения введенных обозначений, получим:     n    ∑Gij  m m  m 1   i =1   ∆Q = − m n−1 ⋅ ∑Gnj ⋅ Q j −  ∑ m n ⋅ Q j   ⋅ ∑Gnj  . (168)  j =1  j =1   ∑∑Gij  j =1  Gij   ∑∑    j =1 i =1 j =1 i =1      На рисунке 20 представлен график зависимости показателя эффективности среднего арифметического взвешенного при увеличении и при уменьшении количества экспертов. 0.061224

0.08

0.06

d( n )

0.04

0.02

3 6.766917 .10

0

6 7

8

10

12

14 n

16

18

20 20

Рисунок 20 – Зависимость показателя эффективности среднего арифметического взвешенного при увеличении количества экспертов от 7 до 20 и при уменьшении количества экспертов от 20 до 7 Из рисунка 20 видно, что показатель эффективности уменьшается при увеличении числа экспертов. Для среднего арифметического взвешенного показатели эффективности при увеличении числа экспертов и при уменьшении числа экспертов совпадают. В случае экспертных измерений фундаментальное свойство многократного измерения – увеличение точности

измерения при увеличении количества экспертов – также подтверждается. Для среднего геометрического взвешенного имеем: m m ( ( ( g g1 ∆ Q = Q n − Q n −1 = ∏ Q j j − ∏ Q j j , j =1

где

gj =

∑G i =1

m

;

n

∑∑ G j =1 i =1

Выразим выражение:

(  ∆Q =  ∏(Q j )  j=1 m

n −1

ij

g 1j =

ij

∑G

i =1 m n −1

ij

.

∑∑ G

ij

j =1 i =1

( через Qn−1 . Для этого прологарифмируем

( Qn

m ( g Qn = ∏ Q j j .

∑∑ G

ij

j =1 i =1

= Gn ;

m

n −1

∑∑G j =1 i =1

= Gn−1

ij

(  m g  λnQn = λn ∏ Q j j  = λnQ1g1 + λnQ2g 2 + ... + λnQmg m =   j =1

 (  = ln  Qn −1  

( )

G n −1 Gn

( ( Qn = Q

Pn

    ⋅  ∏QGjnj       j=1  m

1 Gn

− ∏(Q j ) m

j =1

g1j

. (173)

Чтобы определить показатель эффективности уменьшении количества экспертов, необходимо выразить

( Qn−1

через

при

( Qn из формулы (171), получим:

 m G ⋅  ∏ Q j nj  j =1

   

1 Gn

  .  

Gn

( G n −1 Qn

( ( ( ( ∆Q = Qn − Qn −1 = Qn −

  ∏ Q Gjnj   j =1 m

(170)

   

 m ∑ Gnj  ⋅  ∏ Q jj =1  j =1 

Следовательно,

    

1 Gn

∏ (Q ) m

.

(171)

( ∆Q =

∏ (Q ) m

g

j

j =1

j

j

−

(175)

1 G n −1

Подставив в выражение (175) значения m

(174)

Следовательно,

Откуда G n −1 Gn n −1

(172)

Gn

Введем следующие обозначения: n

g1j ⋅Pn−1

 Gn−1 Gn   ( Gn−1   ( (  Qn 1  ⋅ = Qn−1 =  Q n 1 1  m G  Gn  m Gn −1   G ∏Q j nj   ∏Qj nj        j =1    j =1 

j =1

m

 Gn (  − Qn −1 .  

( Подставив в выражение (172) значение Qn−1 , получим:

(169)

j =1

n

1

G

( ( ( ( n −1  m G ∆Q = Qn − Qn −1 = Qn −G1n ⋅  ∏ Q j nj  j =1

( Qn , получим:

g ⋅G n G n −1

j =1

 m  ∏ (Q   j =1

j

)

G nj

G n −1

   

(176)

На рисунке 21 представлен график зависимости показателя эффективности среднего геометрического взвешенного при увеличении и уменьшении количества экспертов. Как видно из рисунка 21, показатель эффективности также уменьшается при увеличении количества экспертов.

( ∆Q =

0.06 n

Gn ⋅ Qj

Gn   ∑ Gij ∑  i =1 j =1  Q j  

( Qn =

0.02 9.85642 .10

j =1

i =1

Выразим

0.04

3

m

n

0

6 7

8

10

12

14 n

16

18

20 20

Рисунок 21 – Зависимость показателя эффективности среднего геометрического взвешенного при увеличении количества экспертов от 7 до 20 и при уменьшении количества экспертов от 20 до 7

=

∆ Q = Q n − Q n −1 =

−

m

g

j =1

Qj

∑

j

gj =

∑G

i =1 m n

m

g

j =1

Qj

∑ n −1

n

где

1 j

ij

∑ ∑ G ij

;

j =1 i =1

g = 1 j

∑G

i =1 m n

ij

.

∑ ∑ G ij j =1 i =1

Также введем обозначения: m

n

∑ ∑ G ij = G n ; j =1 i =1

m n −1

∑ ∑ G ij = G n −1 . j =1 i =1

     

( Qn

n−1

m

∑Gij

j =1

Gn−1 ⋅ Qj

∑

−

1

=

i =1

n

∑Gij

1 m i=1 ∑ Gn j=1 Qj

G n −1   ∑ Gij ∑  i =1 j =1  Q j   n −1

m

через

1

−

n−1

=

.

(178)

     

( Qn−1 :

Gn ⋅

Gn

 m G nj +∑  j =1 Q j 

∑Gij

1 m i=1 ∑ Gn−1 j=1 Qj

1 G n −1

=   n −1  n  ∑ Gij + G nj  ∑ Gij  m m 1 i =1   ⋅ ∑  i =1 ∑  G n −1 j =1  j =1  Q j Qj       ( G n ⋅ Q n −1

G n −1 Для среднего гармонического взвешенного показатель эффективности будет равен: ( ( ( 1 1 , (177)

1

−

∑Gij

m

0.08

W

1 n

∑

=

0.1

0.081645

В результате уравнение (177) примет вид:

     

=

(179)

 (  ⋅ Q n −1  

Значит, ( ( ( ∆ Q = Q n − Q n −1 =

( G n ⋅ Q n −1  m G nj G n −1 +  ∑  j =1 Q j 

 (  ⋅ Q n −1  

 m G nj  (  (  m Q  Q n −1  ∑ G nj −  ∑  j =1 Q  n −1   j =1 j    . =  m G nj  ( ⋅Q G n −1 +  ∑  j =1 Q  n −1 j   Подставив в выражение (180) значения

( − Q n −1 =

(180)

( Qn−1 , получим:

   m G nj  m 1 ∑ ⋅ − G  ∑ nj 1  j =1 Q m g j = 1 j j   ∑  j =1 Q j  = m n  m G nj   G ij +  ∑ ∑ ∑  j =1 Q  j =1 i =1 j  

Для

определения

    1 ⋅  m g1  j   ∑  Q j =1 j  .

0.093274

0.1

0.08

0.06

(181)

d1 ( n ) 0.04

1 gj

j =1

Qj

∑

0.02

1

m

показателя

0.013446

6

8

10

12

14

7

эффективности

( Qn−1

при

( через Qn из

уменьшении количества экспертов выразим формулы (179):   m G nj  (  ( (  ⋅ Q n −1 Q n = G n ⋅ Q n −1 G n −1 +  ∑     j =1 Q j  ( ( G n −1 ⋅ Qn . (182) Qn −1 =  m G nj  ( ⋅Q Gn −  ∑  j =1 Q  n j   Следовательно, показатель эффективности будет равен: ( ( ( ( ( G n −1 ⋅ Q n = ∆ Q = Qn − Q n −1 = Q n −  m G nj  ( ⋅Q Gn −  ∑  j =1 Q  n j  

 m Gnj  (  ( m ⋅Q  Qn  ∑ Gnj −  ∑  j =1 Q  n   j =1 j    . =  m  Gnj  ( ⋅Q Gn −  ∑  j =1 Q  n j  

0

На рисунке 22 представлен график зависимости показателя эффективности среднего геометрического взвешенного при увеличении и уменьшении количества экспертов.

18

20 20

Рисунок 22 – Зависимость показателя эффективности среднего гармонического взвешенного при увеличении количества экспертов от 7 до 20 и при уменьшении количества экспертов от 20 до 7 Для среднего гармонического взвешенного наблюдается та же зависимость. Применяя те же обозначения, что и в предыдущих случаях, для среднего квадратического взвешенного имеем n−1

n

Gij Gij ∑ ∑ ( ( ( m m 2 i=1 i=1 ∆Q = Qn − Qn−1 = ∑ ⋅ Qj − ∑ ⋅ Q2j . j =1 Gn j =1 Gn−1

(184)

( ( Выразим Qn через Qn−1 :

n −1

n

(183)

16

n

( Qn =

=

m

∑

j =1

∑G i =1

ij

Gn

⋅ Q 2j =

G n −1 ( 2 ⋅ Q n −1 + Gn

m

G nj

j =1

Gn

∑

m

∑

∑G i =1

+ G nj

Gn

j =1

⋅ Q 2j

ij

⋅ Q 2j =

.

(185)

Следовательно, m G ( ( ( ( G ( nj ∆Q = Qn −Qn−1 = n−1 ⋅ Qn2−1 +∑ ⋅ Q2j −Qn−1. Gn j=1 Gn

(186)

( Подставив в формулу (186) значения Qn−1 , получим: ∆Q =

Gn−1  m 1 2  m Gnj 2  ∑ g j ⋅ Qj  + ∑ ⋅ Qj −  Gn  j =1  j =1 Gn

m

∑g j =1

1 j

Рисунок 23 – Зависимости показателя эффективности среднего квадратического взвешенного при увеличении количества экспертов от 7 до 20 и при уменьшении количества экспертов от 20 до 7

(187)

⋅ Q2j

При уменьшении количества экспертов для определения

( ( показателя эффективности выразим Qn−1 через Qn . Из формулы (185) получим: ( Q

2 n

( G n −1 ⋅Q Gn

=

2 n −1

+

m

G

nj

j =1

G

n

∑

⋅Q

2 j

;

3.5.2.6 СРАВНИТЕЛЬНЫЙ АНАЛИЗ АЛГОРИТМОВ КОМПЛЕКСИРОВАНИЯ

m G (  G ( nj Q n −1 =  Q 2 − ∑ ⋅ Q 2j  ⋅ n . j =1 G n  G n −1  Значит,

 ( Q  

( ( ∆Q = Q n −

2

−

m

G nj

j =1

Gn

∑

⋅Q

2 j

(188)

 Gn . ⋅  G n −1 

(189)

(

Подставив в формулу (189) значение Qn , получим: ( ∆Q =

m

∑g j =1

j

m G  (  G nj ⋅ Q 2j −  Q 2 − ∑ ⋅ Q 2j  ⋅ n . j =1 G n   G n −1

(190)

На рисунке 23 представлен график зависимости показателя эффективности среднего квадратического взвешенного при увеличении и уменьшении количества экспертов. 0.046265

0.05

0.04

0.03 d2 ( n ) 0.02

0.01

4.919503

.10 3

0

6 7

8

10

12

14 n

Для среднего квадратического взвешенного наблюдается та же зависимость. Следовательно, для всех средневзвешенных показатель эффективности уменьшается при увеличении числа экспертов, если при увеличении числа экспертов согласованность мнений остается прежней.

16

18

20 20

Для сопоставления алгоритмов комплексирования показатели качества алгоритмов сведены в таблицы 24-27. Таблица 24 – Показатели качества алгоритмов комплексирования (устойчивости к приращениям значений единичных показателей, чувствительности к приращениям согласованности мнений экспертов и сложности)

Таблица 25 – Показатели П11 (a) , П 21 (a) , П 4 (a) алгоритмов комплексирования по трехуровневой шкале Алгоритмы 1-й сл. Переход j-го показателя c низкого уровня на высокий 2-й сл. Переход j-го показателя со среднего уровня на низкий

Алгоритмы

Показатель П11 (a)

П 21 (a)

mумножений, mсложений.

KQj

gj

Среднее арифм. взвешенное

П4 (a)

  m gj Среднее  Q gλ  ⋅ g ⋅ Q g j −1 Qj ⋅ gj ⋅k⋅λnQj ⋅ ПQj = l 1 ∏ λ  j j геом. l≠j   λ=1  взвешен-  λ≠1 ное m

g

Среднее гармон. взвешенное Среднее квадрати -ческое взвешенное

Q

2 j

   

j

m

g

j

j =1

Q

j

g jQ

j

m

∑

j =1

∑

g

j

⋅Q

   

2 j

2

k ⋅Qj  m g j ∑ − g j  j =1 Q j

2

kQ

2 j

g

⋅Q

j

2 j

   

−2

mумножений, mвозведений в степень (m+1) делений, mсложений (m+1) возведений в степень; m -сложений, mумножений.

3-й сл. Переход j-го показателя с высокого уровня на средний 4-й сл. Переход j-го показателя с высокого уровня на низкий 5-й сл. Переход j-го показателя с низкого уровня на высокий 6-й сл. Переход j-го показателя со среднего уровня на высокий

Показатель П11 (a)

-1,5к

П 4 (a) П21(a) 0 , 5 g cj − g Hj (mc + mn ) -

g Hj − 0 ,5 g cj

сложений, 1умножение, 2 - вычитания

+ g cj g

Hj

− g

Hj

− g

cj

Примечание n   m n n 2 m 2 (m + 1 ) ∑ ∑ G ij − ∑ G ij  i =1   j =1 i =1 k = 2 m n m n m n    1 24  ∑ ∑ G ij  ∑  ∑ G ij − ∑ ∑ G ij m j =1 i =1  j =1  i =1  j =1 i =1

   

среднее квадратическое взвешенное, менее устойчивым – среднее гармоническое взвешенное, а наименее устойчивым – среднее геометрическое взвешенное (см. рис. 13).

Таблица 26 – Показатели эффективности алгоритмов комплексирования при увеличении количества экспертов

Алгоритм ы Среднее арифмети -ческое взвешенн ое Среднее геометрическое взвешенн ое Среднее гармоническое взвешенн ое

1 m

n

∑∑

 m  ∏ (Q   j =1

j =1

Q

∑

)

   ⋅   

1 g

j

1 j j m

g 1j ⋅ Pn − 1 Pn

m

∑

G n −1 Gn

   

G

i=1

m

∑

G

j =1

n

j =1

G nj

i =1

G ij

j =1 i =1

m

n

∑

⋅

∑ ∑ Среднее квадратическое взвешенн ое

Таблица 27 – Показатели эффективности алгоритмов комплексирования при уменьшении количества экспертов

Показатель

j =1

g

ij

1 j

   

nj

   Q  

∑

−

j

m

i =1 n −1

∑∑

j =1 i =1

 −   

m

G

j =1

Q

∑

m

G

j =1

Q

∑

2 j

  +  

nj j

m

∑

j =1

nj j

   

G G

G ij

−

1

 Gn  −  

  ⋅  

Среднее арифметическое взвешенн ое Среднее геометрическое взвешенное

j =1

g

1 j

j =1

Q

j

∑

g 1j

j

m

      

1 m

g

j =1

Q

∑

nj n

1 j

⋅Q

j

2 j

−

m

∑

g

j =1

Для алгоритмов комплексирования по принципу средних взвешенных определены показатели устойчивости к приращениям единичных показателей. Наиболее устойчивым к приращениям значений единичных показателей является

1 j

1 m

n −1

∑∑

j =1 i =1

∏ (Q ) m

1

Показатель

Алгоритм ы

   Q j   

G ij

 m G ⋅  ∏ Q j nj  j =1

 +   

⋅Q

n

⋅

Среднее гармоническое взвешенное

⋅

∑

i =1

G ij

     

m

G nj

m

G ij

i =1 n −1

∑∑

j =1 i =1

Q

m

∏ (Q ) j

g

−

j

j

j=1

m

∑

j =1

g

j

⋅Q

⋅G

g G

n

n −1

j=1

   

∏ (Q ) m

2 j

G

G

j

   

nj n −1

j=1

 m G nj  ( (  m  ⋅Qn Q n  ∑ G nj −  ∑  j =1 Q   j =1 j    m  G nj  (  ⋅Qn Gn − ∑  j =1 Q  j   ( ∆Q =

j

G ij

m

∏ (Q )

   + Q j   

n

∑

−

   

 ( Q  

2

−

m

G

nj

j =1

G

n

∑

⋅Q

2 j

Показатель чувствительности к приращениям значений единичных показателей среднего арифметического взвешенного равен весовому коэффициенту, т.е. является постоянной величиной.

 

Для алгоритма комплексирования по трехуровневой шкале определены показатели устойчивости к изменениям мнений экспертов на противоположное. При переходе j-го показателя с высокого уровня на низкий и с низкого уровня на высокий показатель устойчивости равен весовому коэффициенту j-го показателя, получившего оценку «низкий» со знаком «+» и «-» соответственно, при переходе j-го показателя с высокого уровня на средний и с среднего уровня на высокий равен весовому коэффициенту j-го показателя, получившего оценку «средний» со знаком «+» и «-» соответственно, а при переходе j-го показателя с низкого уровня на высокий и с среднего уровня на низкий показатель устойчивости соответственно равен: ( 0.5 ⋅ g cj − g Hj ) и ( g Hj − 0 .5 ⋅ g cj ). Среди рассмотренных алгоритмов наиболее чувствительным к приращениям согласованности мнений экспертов является среднее гармоническое взвешенное, более чувствительным – среднее геометрическое, средним по чувствительности – среднее арифметическое, менее чувствительным – среднее квадратическое взвешенное, а наименее чувствительным – комплексирование по трехуровневой шкале. Для наглядности на рисунке 24 представлен график зависимости показателей чувствительности к приращениям согласованности мнений экспертов.

Рисунок 24 – Зависимость показателей чувствительности к приращениям согласованности мнений экспертов алгоритмов комплексирования при n=7, m=7: D13( α 1) – среднего арифметического взвешенного; D4( α 1) – среднего геометрического; D33( α 1) – среднего гармонического; D53( α 1) – среднего квадратического

По показателю чувствительности к изменениям согласованности мнений экспертов наименее чувствительным является среднее геометрическое, менее чувствительным – среднее гармоническое, более чувствительным – среднее квадратическое и наиболее чувствительным – среднее арифметическое взвешенное. При сравнении алгоритмов комплексирования по показателю эффективности для наглядности рассмотрим графики зависимостей показателя эффективности от изменения числа экспертов (рис. 25). 0.1

0.093274

0.08

d( n ) W

0.06

n

d1 ( n ) d2 ( n ) 0.04

0.02

1.577333 .10

3

2000 4.919503

.10

3

0

6 7

8

10

12

14

16

18

n

1000 D13( α1 )

Рисунок 25 – Зависимость показателей эффективности от изменения числа экспертов алгоритмов комплексирования: d(n) – среднего арифметического взвешенного, Wn – среднего геометрического взвешенного, d1(n) – среднего гармонического взвешенного, d2(n) – среднего квадратического взвешенного

D4( α1 ) D33( α1 )

0

D53( α1 ) D61( α1 ) 1000

1.558667 .10

3

2000 7

5

10

15

20

25 30 α1 , α1 , α1 , α1 , α1

35

40

45

50 49

Из рисунка 25 наглядно видно, что наиболее эффективным является среднее квадратическое взвешенное, более эффективным – среднее арифметическое, менее эффективным –

20 20

среднее геометрическое взвешенное, а наименее эффективным – среднее гармоническое взвешенное. По количеству выполняемых арифметических операции при однократном вычислении по конкретному алгоритму наименее сложным является комплексирование по трехуровневой шкале, менее сложным – среднее гармоническое, более сложным – среднее геометрическое, а наименее сложным – среднее квадратическое взвешенное. Выводы 1. Наиболее устойчивым к приращениям значений единичных показателей является среднее квадратическое взвешенное, менее устойчивым – среднее гармоническое взвешенное, а наименее устойчивым – среднее геометрическое взвешенное. 2. Наиболее чувствительным к приращениям согласованности мнений экспертов является среднее гармоническое взвешенное, более чувствительным – среднее геометрическое, средним по чувствительности – среднее арифметическое, менее чувствительным – среднее квадратическое взвешенное, а наименее чувствительным – комплексирование по трехуровневой шкале. 3. По показателю чувствительности к изменениям согласованности мнений экспертов наименее чувствительным является среднее геометрическое, менее чувствительным – среднее гармоническое, более чувствительным – среднее квадратическое и наиболее чувствительным – среднее арифметическое взвешенное. 4. При увеличении количества экспертов показатель эффективности меняется быстрее у среднего гармонического взвешенного, менее быстро у среднего геометрического взвешенного, наименее быстро у среднего арифметического взвешенного и мало меняется – у среднего квадратического взвешенного. 5. По сложности наименее сложным является комплексирование по трехуровневой шкале, менее сложным – среднее арифметическое взвешенное, средним по сложности – среднее гармоническое, более сложным – среднее

геометрическое, а наиболее сложным – среднее квадратическое взвешенное. 6. Сравнение алгоритмов комплексирования показывает, что при низкой согласованности экспертной комиссии целесообразно воспользоваться при комплексировании показателей качества средним квадратическим взвешенным, так как он более устойчивым к изменениям согласованности мнений экспертов. 7. При определении одних и тех же показателей качества промышленной продукции разными экспертными комиссиями с разной согласованностью мнений следует воспользоваться средним геометрическим взвешенным, так как он менее чувствителен к изменениям согласованности мнений экспертов. 8. При увеличении количества экспертов для обеспечения высокой точности измерения следует воспользоваться средним гармоническим взвешенным или же средним геометрическим взвешенным, так как они быстрее реагируют на увеличение числа экспертов. 9. При невысокой точности измерения целесообразнее воспользоваться средним арифметическим взвешенным, так как он является наименее сложным по числу выполняемых арифметических операций.

ЛИТЕРАТУРА 1. Адлер Ю.П., Маркова Е.В., Грановский Ю.В. Планирование эксперимента при поиске оптимальных условий. Изд. 2-е, перераб. и доп. М.: Изд-во Наука, 1976. 280 с. 2. Азгальдов Г.Г. Численная мера и проблемы красоты в архитектуре. - М.: Стройиздат, 1978. 88 с.

15. Андрианов. Ю.М., Суббето А.И. Квалиметрия в приборостроении и машиностроении. Л.: Машиностроение. Ленингр. отд-ние, 1990. 215 с. 16. Аристов О.В., Щебанов В.И. Основы стандартизации и контроль качества в радиоэлектронике: Учебное пособие для ВИСМ. М.: Изд-во стандартов, 1974. 212 с.

6. Азгальдов Г.Г. Теория и практика оценки качества товаров. (Основы квалиметрии). М.: Экономика, 1982. 256 с.

17. Асташенков А.И., Сафаров Г.П., Томилин А.Ю. Государственная система обеспечения единства измерений и ее нормативная база (вчера, сегодня и завтра) // Законодательная метрология. 1999. № 3. С. 10-16. 18. Асташенков А.И., Шарапов М.Г., Сковородников В.А., Сафаров Г.П. О проекте ГОСТ Р «Государственная система обеспечения единства измерений. Основные положения» // Законодательная метрология. 1999. № 5. С. 5-10. 19. Ахо А., Хонкрофт Дж., Ульман Дж. Построение и анализ вычислительных алгоритмов. М.: Мир, 1978.

7. Азгальдов Г.Г. Определение значений коэффициентов важности// Методы менеджмента и качества. 2000. № 2. С. 28-33.

20. Балалаев В.А. Общее описание процесса измерений // Измерительная техника. 1982. № 11.

8. Азгальдов Г.Г. Практическая квалиметрия в системе качества: ошибки и заблуждения //Методы менеджмента и качества. 2001. № 3. С. 18-23.

21. Балалаев В.А., Довбета Л.И., Иванов Ю.И. Система классификации измерений // Измерительная техника. 1982. № 11.

3. Азгальдов Г.Г. Потребительская стоимость и ее измерение. М.: Экономика, 1971. 4. Азгальдов Г.Г. Квалиметрия в архитектурно-строительном проектировании. М.: Стройиздат, 1989. 272 с. 5. Азгальдов Г.Г. Количественная оценка качества продукции – квалиметрия. М.: Знание, 1986. 111 с.

9. Азгальдов Г.Г. Квалиемтрия и красота в технике: проблемы, перспективы //Методы менеджмента и качества. 2002. № 9. С. 18-25. 10. Азгальдов Г.Г., Райхман Э.П. О квалиметрии. М.: Изд-во стандартов, 1972. 172 с. 11. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Основы моделирования и первичная обработка данных. М.: Финансы и статистика, 1983. 12 Алгоритмическое и программное прикладного статистического анализа. Ученые статистике, М.: Наука, 1980. т. 41.

обеспечение записки по

13. Амиров Ю.Д. Квалиметрия и сертификация продукции: Метод. пособие. М.: ИПК Изд-во стандартов, 1996. 104 с. 14. Андрианов Ю.М. Теория производственных систем Л.: ЛПИ, 1981. 65 с.

22. Барабащук В.И. и др. Планирование эксперимента в технике. Киев, 1984 23. Беленький Я.Е., Потопальский В.В. Информационнометрологические характеристики алгоритмов преобразования Фурье // Измерительная техника. 1991. № 10. С.13-16. 24. Берка К. Измерения. Понятия, теории, проблемы. М.: Прогресс, 1987. 25. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1974. 26. Бондарь Е.Д., Сирая Т.Н. Структура и взаимосвязь основных этапов измерений // Анализ и формализация измерительного эксперимента. Л.: Энергоатомиздат, 1986. 27. Володарский В.Я. Размышления о метрологической терминологии // Законодательная метрология. 1999. № 5. С. 38-48. 28. Вострокнутов Н.Н., Кузнецов В.П., Солопченко Г.Н., Френкель Б.А.. Объект метрологической аттестации алгоритмов и

программ обработки данных при измерениях // Измерительная техника. 1990. № 7. 29. Буравлев.А.И. Способ оценки достоверности экспертных измерений // Измерительная техника. 1995. № 10. 30. Бурдун Г.Д., Марков Б.Н. Основы метрологии: Учеб. пособие. 3-е изд., перераб. и доп. М.: Изд-во стандартов, 1984.

31. Блюмбер В.А., Глущенко В.Ф. Какое решение лучше? Метод расстановки приоритетов. Л.: Лениздат, 1982. 160 с. 32. Гельфанд А.М., Крейнович В.Я., Новиков А.Г., Солопченко Г. Н. Характеристики точности алгоритмов обработки измерительной информации АСУ ТП и ИИС и методы их определения // ІV Всесоюз. совещание по теоретической метрологии: Тез. докладов. Л., 1989.

33. Герасимович А.И., Матвеева Я.И. Математическая статистика. Минск., Вышэйш. школа, 1978, 200 с. 34. Гильд И.Ю., Винниченко С.М., Сысоев Ю.С. Построение оптимальной групповой стратегии при различных законах распределения погрешностей экспертных оценок // Измерительная техника. 2005. №10. С. 58 - 63. 35. Гличев А.В. Основы управления качеством продукции. М.: Изд-во стандартов, 1988. 36. Гличев А.В., Рабинович Г.О., Примаков М.И., Синицин М.М. Прикладные вопросы квалиметрии. М.: Изд-во стандартов, 1983. 37. Гличев А.В. и др. Что такое качество? М.: Экономика, 1968. 38. Гончаров Э.Н., Козлов В.В., Круглова Е.Д. Контроль качества продукции. М.: Изд-во стандартов, 1988. 39. Горский В.Г., Адлер Ю.П., Талалай А.М. Планирование промышленных экспериментов (модели динамики). М.: Металлургия, 1978. 40. Грачев Ю.П. Математические методы планирования эксперимента. М.: Пищевая промышленность, 1979. 41. ГОСТ 8.207-76. ГСИ. Прямые измерения с многократными наблюдениями. Основные положения. М.: Изд-во стандартов, 1977. 42. ГОСТ 5216–96. Методы определения сенсорных способностей дегустаторов. М.: Изд-во стандартов, 1996. 43. Грановский В.А., Сирая. Т.Н. Методы обработки

экспериментальных данных при измерениях. Л.: Энергоатомиздат, Ленингр. отд-ние, 1990. 288 с. 44. Грановский В.А., Сирая Т.Н. Методы построения градуировочных характеристик. М.: Изд-во стандартов, 1986.- 128 с. 45. Грановский В.А., Гутнер Л.М., Саватеев А.В., Сирая Т.Н., Шишкин И.Ф. Современные проблемы теории измерений // Измерительная техника. 1986. № 2. 46. Джини К. Средние величины. М.: Статистика, 1970. 47. Долинский Е.Ф. Обработка результатов измерений. М.: Издво стандартов, 1973. 48. Дружинин Г. В., Сергеева И. В. Качество информации. М.: Сов. радио, 1987. 49. Ермаков С.М., Жиглявский А.А. Математическая теория оптимального эксперимента. М.: Наука, 1987. 50. Закон РФ от 27.04.1993 № 48171-1 (ред. от 10.01.2003) «Об обеспечении единства измерений». М.: Изд-во стандартов, 1993. 51. Земельман М.А. Метрологические основы технических измерений. М.: Изд-во стандартов, 1991. 52. Золотарева А.М., Сундарон Э.М., Хамханова Д.Н., Матуев А.С., Данилов М.Б. К вопросу совершенствования системы контроля в ВСГТУ. Качество образования: достижения, проблемы // Мат-лы ІV Междунар. науч.-метод. конф., 17-20 апреля 2001 г. Новосибирск. 2001. С. 173-174. 53. Золотарский Ю.М., Иванов В.С., Исаев Л.К., Коленский Л.Л., Тимофеева Е.И., Федорович Г.В. Методы и проблемы экологического мониторинга среды // Законодательная метрология. 1999. № 2. С. 6-13. 54. Кантере В. М., Матисон В. А., Фоменко М. А., Крюкова Е. В. Основные методы сенсорной оценки продуктов питания // Пищевая промышленность. 2003. №10, С.6-13. 55. Кавалеров Г. И., Мандельштам С. М. Введение в информационную теорию измерений. М.: Энергия, 1974. 56. Клиот-Дашинский М. И. Алгебра матриц и векторов. 2-е изд. С-Пб.: Изд-во «Лань», 1998. 160 с. 57. Колпашников С. Н., Челпанов И. Б. Управление качеством: Учеб. пособие. СПб.: ООО «Политехника-сервис», 2000. 62 с. 58. Колпак Б. Д., Калицинский Ю. Р., Кричевец А. М. Типовая программа метрологической аттестации программных компонентов ИИС // Измерительная техника. 1991. № 10. С.16. 59. Кохзик М. Задачи метрологии в 21-м веке // Законодательная метрология. 2000. № 5. С. 8-13.

60. Кузнецов В. А., Ялунина Г. В. Основы метрологии: Учеб. пособие. М.: Изд-во стандартов, 1995. 280 с. 61. Лангстер П. Теория матриц // Перевод с англ. С.П. Демушкина. 2-е изд., М.: Наука Гл. ред. физико-матем. лит-ры, 1982. 62. Левин С. Ф. Метрологическое аттестовывание и сопровождение программных средств статистической обработки результатов измерений // Измерительная техника. 1991 № 12. 63. Левшина В. В., Малахова Ю. Г., Репях С. М.. Сравнение методов оценки уровня качества целлюлозно-бумажной промышленности // Методы менеджмента качества. 2000. № 2. 64. Маликов М. Ф. Основы метрологии. делам мер и измерительных приборов, 1949.

М.: Комитет по

65. Марков А. А. Теория алгоритмов. М.: Наука, 1965. 66. Мельников С.В. и др. Планирование эксперимента в исследованиях сельскохозяйственных процессов/ Мельников С.В., Алешкин В.Р., Рощин П.М. 2-е изд., перераб. и доп. Л.: Колос. Ленингр. отд-ние, 1980. 168 с. 67. Методы органолептической оценки качества пшеничного хлеба // Пищевая промышленность. Серия 14. Хлебопекарная, макаронная, дрожжевая промышленность. Обзорная информация. М.: ЦНИИТЭИ ПИЩЕПРОМ, 1981. Вып. 4. 35 с. 68. Методика применения экспертных методов для оценки качества продукции. М.: Изд-во стандартов, 1975. 54 с. 69. Методологические основы обеспечения единства измерений. Аттестация алгоритмов обработки квалиметрической информации: Отчет о НИР (промежуточ.) // Восточно-Сибирский государственный технологический университет ВСГТУ); Руководитель Д.Н Хамханова. № ГР; инв. Улан-Удэ,2005. 90 с. 70. Методологические основы обеспечения единства измерений. Планирование экспертных измерений: Отчет о НИР (промежуточ.) // Восточно-Сибирский государственный технологический университет (ВСГТУ); руководитель Д.Н Хамханова. № ГР. Улан-Удэ, 2005. 90 с. 71. Метрологическое обеспечение информационно-измерительных систем: Сб. руководящих документов. М.: Изд-во стандартов,1984. 72. Методическая инструкция МИ 2175-91. Градуировочные характеристики средств измерений. Методы построения, оценивания погрешностей. СПб.: ВНИИМ, 1994. 64 с.

73. Методическая инструкция МИ 2174-91 Аттестация алгоритмов и программ обработки данных при измерениях. Основные положения. СПб.: ВНИИМ, 1993. 27 с. 74. Назаров Н. Г. Современные методы и алгоритмы обработки измерений и контроля качества продукции. Учеб. пособие. М.: Изд-во ВЗМИ, 1988. 75. Назаров Н. Г. Измерения: планирование и обработка результатов. М.: ИПК Изд-во стандартов, 2000. 304 с. 76. Назаров Н. Г., Крушняк Н. Т. Критический анализ понятия «качество» и возможности его количественной оценки // Измерительная техника. 2005. № 10. С. 24-27. 77. Налимов В. В. Теория эксперимента.– М.: Наука, 1971. 78. Налимов В. В., Голикова Т. Н. Логическое основание планирования эксперимента. М.: Металлургия,1976.

79. Петрович М.Л., Давыдович М.И. Статистическое оценивание и проверка гипотез на ЭВМ. М.: Финансы и статистика, 1989. 80. Разработка метрологических принципов планирования измерительных экспериментов и аттестации алгоритмов обработки данных при физико-химических измерениях: Отчет о НИР (заключительный отчет п по теме 01.08.08.63.) / Государственное предприятие ВНИИМ им. Д.И. Менделеева. СПБ., 1995. 81. Разработка принципов и методов метрологической аттестации программ обработки данных в интеллектуальных измерительных системах: Отчет о НИР (заключительный отчет по теме 01.08.08.64.) / Государственное предприятие ВНИИМ им. Д.И.Менделеева. СПб., 1995. 82. Райхман Э. П., Азгальдов Г. Г. Экспертные методы в оценке качества товаров. М.: Экономика, 1974. 83. Родина Т. Г., Вукс Г. А. Дегустационный анализ продуктов. М.: Колос, 1994. 192 с. 84. Романов В.Н., Комаров В.В. Теория измерений. Анализ и обработка экспериментальных данных: Учеб. пособие. СПб.: СЗПИ, 1999, 112 с. 85. Русинов Л. А., Моносов Д. М., Куркина В. В., Чистяков Н.

А., Соболева И. Ю. Аттестация алгоритмов обработки сигналов аналитических приборов // Измерительная техника. 1990. № 7. 86. Семенов Л. А., Т. Сирая Т. Н. Методы построения градуировочных характеристик средств измерений. М.: Изд-во стандартов, 1986. 128 с. 87. Сирая Т. Н. Методология аттестации алгоритмов обработки данных в сложных измерительных задачах. // Тез. докладов науч.-техн. конф. «Диагностика, информатика, метрология», СПб, 1996. 88. Сирая Т. Н. Разработка методологии обработки данных на основе концепции аттестации алгоритмов // Дисс. на соиск. уч. ст. д-ра техн. наук. СПб. Гос. пред. «ВНИИМ им. Д.И. Менделеева». 1997. 89. Слаев В. А. Принципы метрологической аттестации информационно-измерительных систем. // Измерительная техника. 1993. № 11. 90. Слаев В. А.., Чуновкина А. Г., Чурсин А. В. Повышение качества измерений планированием измерительной процедуры // Измерительная техника. 1999. № 10. 91. Стахов А. П. Введение в алгоритмическую теорию измерений. М.: Сов. радио, 1977. 288 с. 92. Субетто А. И. Квалиметрия: В 6 ч. / ВИКИТ им. А.Ф. Можайского. Л.: 1979. 1986.

93. Субетто А.И. Астероин, 2002. 288 с.

Квалиметрия.

СПб.:

Изд-во

94. Сундарон. Э. М., Хамханова Д. Н. Конкурентноспособность продукции АПК в условиях рыночной экономики// Тез. докл. междунар. науч. конфер. «Прогрессивные пищевые технологии – третьему тысячелетию». Краснодар, 2000, С.455-456. 95. Суппес П., Зинес Дж. Основы теории измерений // Психологические измерения: Пер. с англ. М.: Мир, 1967. С. 9-110. 96. Тарбеев Ю. В, Александров В. С., Довбета, Л. И., Сирая Т. Н.. Современные проблемы теоретической метрологии // Итоги науки и техники. Сер. Метрология и измерительная техника. М.: ВИНИТИ, 1991. Т. 8. 129 с. 97. Тарбеев Ю. В., Челпанов И. Б., Сирая Т. Н. Аттестация

алгоритмов обработки данных при измерениях // Измерения, контроль, автоматизация: науч.-техн. сб. обзоров. М.: Информприбор. 1991. Вып. 2(78). С. 3-13. 98. Тарбеев Ю. В., Челпанов И. Б., Сирая Т. Н. Задачи аттестации алгоритмов обработки данных при динамических измерениях // Измерительная техника. 1985. № 1. 99. Тарбеев Ю. В., Челпанов И. Б., Сирая Т. Н. Развитие работ по метрологической аттестации алгоритмов обработки // Измерительная техника. 1985. № 3. С.13-14. 100. Тарбеев Ю. В., Челпанов И. Б., Сирая Т. Н. Разработка методов аттестации алгоритмов обработки результатов наблюдений// Метрология. 1985. №2. С.3-8. 101. Тарбеев Ю. В., Челпанов И. Б., Кудрявцев М. Д., Сирая Т. Н. Задачи и методы аттестации алгоритмов // Измерительная техника. 1983. № 9. С.28-29. 102. Тильгенр Д. Е. Органолептический анализ пищевых продуктов. М.: Пищепромиздат. 1962, 388 с. 103. Тихомиров В. Б. Планирование и анализ эксперимента (при проведении исследований в легкой и текстильной промышленности). М.: Легкая индустрия, 1974. 104. Тюрин Н. И. Введение в метрологию: Учеб. Пособие. 3-е изд. перераб. и доп. М.: Изд-во стандартов, 1985. 105. Ушаков И.Е. Законодательная метрология и технология разработки нормативной документации: Учеб. пособие. СПб.: СЗПИ, 1999. 72 с. 106. Фоменко М. А., Кантере В. М., Матисон В. А., Крюкова Е. В. Потребительская оценка продуктов питания // Пищевая промышленность. 2003. №10. С.26-28. 107. Хамханов К. М. Основы планирования эксперимента: Учеб. пособие. Улан-Удэ.: Изд-во ВСГТУ, 2002. 93 с. 108. Хамханова Д. Н. Основы квалиметрии: Учеб. пособие. Улан-Удэ: Изд-во ВСГТУ, 2000. 109. Хамханова Д. Н. Прикладная метрология: Учеб. пособие. Улан-Удэ: Изд-во ВСГТУ, 2006. 159 с. 110. Хамханова Д.Н. Исследование качества алгоритмов обработки квалиметрической информации// Дис. на соиск. уч. степ.

канд. техн. наук. Улан-Удэ: Изд-во ВСГТУ, 2002. 140 с.

АлтГТУ, 2006. С. 401-402.

111. Хамханова Д. Н. Задачи и методы аттестации алгоритмов обработки результатов экспертиз // М-лы науч.-практ. конф. преподавателей, научных работников и аспирантов, посвященной 75 - летию со дня рождения первого ректора университета Д.Ш. Фролова. Улан-Удэ, 2000.

119. Хамханова Д. Н., Сундарон Э. М. Методы определения показателей качества пищевых продуктов // Тез. докл. междунар. науч. конф. «Прогрессивные пищевые технологии – третьему тысячелетию». Краснодар, 2000. С. 455-456.

112. Хамханова Д. Н. Сравнительный анализ алгоритмов обработки экспериментальных данных // М-лы науч.-практ. конф. преподавателей, научных работников и аспирантов, посвященной 75 - летию со дня рождения первого ректора университета Д.Ш. Фролова. Улан-Удэ, 2000. 113. Хамханова Д. Н. Применение ранговых критериев при обработке квалиметрической информации // Современные технологии обеспечения качества образования: М-лы Всерос. науч.практ. конф. Барнаул: Изд-во АлтГТУ, 2006. С. 403-405. 114. Хамханова Д. Н. Квалиметрия в системе высшего образования // М-лы науч.-практ. конф., посвященной 70-летию высшего образования в Республике Бурятия «Будущее глазами молодежи», 12-13 апреля 2001 г. Улан-Удэ, 2001. С. 40-42. 114. Хамханова Д. Н. Применение методов квалиметрии для оценки качества пищевых продуктов // Сб. науч. тр. Сер. Технология и биотехнология, оборудование пищевых и кормовых продуктоы. Улан-Удэ: Изд-во ВСГТУ, 2004. Вып. 9. С.15-152. 116. Хамханова Д. Н., Васильева Л. Василевская М. На принципах квалиметрии // Стандарты и качество. 2003, №7. С. 43. 117. Хамханова Д. Н., Жаргалов Б. С. Применение методики определения качества промышленной продукции при проведении конкурса «10 лучших товаров Бурятии» // М-лы науч.-практ. конф., посвященной 70-летию высшего образования Республики Бурятия, кафедры педагогики Бурятского госуниверситета и 60-летию Сибирского отделения РАО (19-20 сент. 2002 г.). Улан-Удэ: Изд-во БГУ. С. 91-93. 118. Хамханова Д. Н., Жаргалов Б. С., Хадыков М. Т., Сыремпилова С. Г. Применение методов квалиметрической информации при государственной итоговой аттестации выпускников // М-лы Всерос. науч.-практ. конф. «Современные технологии обеспечения качества образования». Барнаул: Изд-во

120. Хамханова Д. Н., Сундарон Э. М. Выборочный контроль знаний студентов // Сб. научно-методических статей. Улан-Удэ.: Изд-во ВСГТУ. 2002. Вып. 8. С. 17-21. 121. Хамханова Д. Н., Сундарон Э. М. Применение методов квалиметрии при оценке качества знаний // М-лы науч.-практ. конф., посвященной 70-летию высшего образования в Республике Бурятия «Будущее глазами молодежи», 12-13 апреля 2001 г. УланУдэ, 2001. С. 38-40. 122. Хамханова Д. Н., Сундарон Э. М. Система менеджмента качества учебного заведения // Стандарты и качество. 2005. №9. С. 86-88. 123. Хамханова Д. Н., Хамханов К. М. Определение уровня знаний студентов при итоговой аттестации выпускников // Сб. науч.-метод. статей. Улан-Удэ: Изд-во ВСГТУ, 2002. Вып. 8. С. 1721. 124. Хамханова Д. Н., Хамханов К. М. Оценка качества знаний студентов при итоговой аттестации выпускников // М-лы науч.-практ. конф., посвященной 70-летию высшего образования в Республике Бурятия «Будущее глазами молодежи», 12-13 апреля 2001 г. Улан-Удэ, 2001. С. 42-43. 125. Хамханова Д. Н., Юмсунова А. В. Качество экспертной комиссии // Сб. научных трудов. Сер. Технология и биотехнология, оборудование пищевых и кормовых продуктов. Улан-Удэ: Изд-во ВСГТУ, 2004. Вып. 10. С.63-66. 126. Харитонов Е. В. Метод согласования результатов субъективных измерений // Измерительная техника. 2000. № 9. 127. Харитонов Е. В. Метод согласования субъективных измерений в иерархиях матриц отношений предпочтения // Измерительная техника. 2000. № 9. 128. Хартман Л., Лецкий Э., Шеффер В., и др. Планирование эксперимента в исследованиях технологических процессов / Под ред.

Э.К. Лецкого М.: Изд-во Мир, 1977. С. 552. 129. Хвастунов Р. М., Холопов В. Н., Ульянов М. В. Об оценке эстетических свойств товаров // Методы менеджмента качества. 2002. № 9. С. 26-29.

измерений // Тр. метрологических институтов СССР. М.; Л.: Изд-во стандартов, 1979. Вып. № 237 (297). 140. Шишкин И. Ф. Качество и единство измерений: Учеб. пособие: Л.: СЗПИ, 1982.

130. Цветков Э. И. Алгоритмические основы измерений. СПб.: Энергоатомиздат СПб. отд., 1992. 253 с.

141. Шишкин И. Ф. Контроль: Учеб. пособие. СПб.: СЗПИ, 1992. 62 с.

131. Челпанов И. Б. Задачи выбора и аттестации алгоритмов обработки сигналов средств измерений // Метрология. 1981. № 6. С. 911 132. Челпанов И. Б., Кудрявцев М. Д., Сирая Т. Н., Чуновкина А. Г. Особенности аттестации алгоритмов обработки данных при совокупных измерениях // Тез. докл. ХI Всеакадемической международной школы по проблемам метрологического обеспечения и стандартизации, СПб., 1993.

142. Шишкин И. Ф. Метрология, стандартизация и управление качеством: Учеб. для вузов / Под ред. акад. Н. С. Соломенко. М.: Изд-во стандартов, 1990. 342 с., ил.

133. Челпанов И. Б., Сирая Т. Н. Задачи аттестации алгоритмов и практическое использование результатов аттестации // Исследования в области оценивания погрешностей измерений: Сб. науч. тр. НПО «ВНИИМ им. Д.И. Менделеева». Л.: 1986. С. 913 134. Чуновкина А. Г. Задачи планирования эксперимента и обработки экспериментальных данных при построении градуировочных характеристик аналитических приборов // Измерительная техника. 1998. №3. С. 68-72

143. Шишкин И. Ф. Основы метрологии, стандартизации и контроля качества: Учеб. пособие. М.: Изд-во стандартов, 1987. 320 с., ил. 144. Шишкин И. Ф. Теоретическая метрология: Учеб. для вузов. М.: Изд-во стандартов, 1991. 492 с. 145. Шишкин И. Ф. Конспект лекции по метрологии: Учеб. для вузов. М.: Изд-во стандартов, 1991. 492 с. 146. Шишкин И. Ф. Прикладная метрология: Учеб. пособие. 2-е изд., доп. и испр. М.: Изд-во ВЗПИ, 1990. 117 с. 147. Шишкин И. Ф. Измерение качества образования и образовательных услуг // Педагогические измерения. 2005. № 1, С. 105-123.

135. Чуновкина А. Г., Чурсин А. В. Метрологическая аттестация алгоритмов определения положения и значения экстремума сигнала при измерениях // Измерительная техника. 1998. № 8. С. 61-64

148. Шишкин И. Ф. О коэффициенте конкордации // Мир измерений. 2006. № 1, С. 86 -88.

Шепелев С. Н. Система качества и 136. конкурентноспособность продукции. М. РИЦ «Татьянин день», 1993. 256 с.

150. Шишкин И. Ф., Хамханова Д. Н. Об аттестации алгоритмов обработки результатов экспертиз // М-лы регион. науч.практ. конф. «Техника и технология обработки и переработки пищевых продуктов ХХ1 века». Улан-Удэ, 2000. С. 181-184.

137. Шидловская В. П. Органолептические свойства молока и молочных продуктов: Справочник. М.: Колос, 2000. 280 с., ил. 138. Широков К. П. Об основных понятиях метрологии // Тр. метрологических институтов. М.; Л.: Изд-во стандартов, 1972. Вып. № 130. 190 с. 139. Широков К. П. О некоторых положениях теории

149. Шишкин И. Ф., Станякин В. М. Квалиметрия и управление качеством: Учеб. для вузов. М.: Изд-во ВЗПИ, 1992.

151. Шишкин И. Ф., Хамханова Д. Н. Аттестация алгоритмов обработки результатов экспертиз. Основные направления работ// Доклады юбилейной науч.-техн. конф. студентов, аспирантов и сотрудников института. Радиотехника. Метрология. СПб., 2000. 152. Шишкин И. Ф., Яншин В.Н. Прикладная метрология: Учеб. для вузов. 3-е изд., перераб. и доп. М.: РИЦ «Татьянин день»,

1993. 150 с.

Методология. Общее руководство.

153. Яковлев Е. А. Из истории квалиметрии – науки об измерениях качества продукции // Законодательная метрология. 1999. № 6. С. 58- 59.

168. ISO 8586-1:1993. «Органолептический анализ. Общее руководство по отбору, обучению и контролю испытателей. Часть 1. Отобранные испытатели».

154. Шишкин И. Ф. Измерение качества образования и образовательных услуг // Педагогические измерения. 2005. № 1, С. 105-123.

169. ISO 8586-2:1993. «Органолептический анализ. Общее руководство по отбору, обучению и контролю испытателей. Часть 2. Эксперты».

155. Chelpanov I. B., Ramasanova A. G., Siraja T. N. Gertification of datas processing algorithms// MERA – 90, Mossow. Abstr., V. 1V. Mossow. 1990.

170. ISO 8587:1988. Сенсорный анализ. Методология. Метод «А – не А».

156. ISO 3972:1991. «Органолептический Методология. Метод исследования вкуса».

анализ.

158. ISO 4120:1983. Сенсорный анализ. Методология. Триангулярный метод. 159. ISO 4121:1987. Сенсорный анализ. Методология. Оценка пищевых продуктов методами с использованием шкал. 160. ISO 5492:1992. «Органолептический анализ. Словарь». 161. ISO 5495:1983. Сенсорный анализ. Методология. Метод парного сравнения. 162. ISO 5496:1992. «Органолептический анализ. Методология. Инициация и тренинг испытателей в обнаружении и распознавании запахов введение в обнаружение и распознавание запахов». 163. ISO 5496:1992. «Органолептический анализ. Методология. Обучение испытателей и введение в обнаружение и распознавание запахов». 164. ISO 5497:1982. Сенсорный анализ. Методология. Руководство по подготовке образцов, для которых не выполним прямой сенсорный анализ. 165. ISO 6564:1985. Сенсорный анализ. Методология. Метод профиля флейбора. 166. ISO 6587:1988. Сенсорный анализ. Методология. Метод ранжирования. 167.

ISO

6658:1985.

Органолептический

анализ.

170. ISO 8588:1987. Сенсорный анализ. Методология. Метод ранжирования. 171. ISO 8589:1988. Сенсорный анализ. Методология. Общее руководство по проектированию помещений для испытаний. 172. ISO 10399:1991. Сенсорный анализ. Методология. Метод «Дуо-трио». 173. ISO 11035:1994. Сенсорный анализ. Идентификация и выбор дискриптеров для установления сенсорного профиля при многостороннем подходе. 174. ISO 11036:1994. Сенсорный анализ. Методология. Метод профиля текстуры.

Научное издание

Хамханова Дарима Нимбуевна

ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ОБЕСПЕЧЕНИЯ ЕДИНСТВА ЭКСПЕРТНЫХ ИЗМЕРЕНИЙ

Редактор Т. Н. Чудинова Ключевые слова: экспертные измерения, единство измерений, обеспечение единства экспертных измерений, эксперт, качество экспертной комиссии.

Подписано в печать 10.11.2006 г. Формат 60×84 1/16. Гарнитура Таймс. Печать операт., бумага писч. Усл.п.л. 10,0. Тираж 100 экз. Заказ № 227. ___________________________________________________ Издательство ВСГТУ 670013 г.Улан-Удэ, ул. Ключевская, 40 в.