Курс лекций в Московском Государственно-Индустриальном Университете

Иногда оценивание осуществляется в словесной форме. Например, очень важный, важный, маловажный и т.п.

Но часто полученные т.о. оценки переводятся в балльную шкалу, например 3, 2, 1, для большего удобства обработки результатов.

Указанный метод целесообразно использовать только при уверенности в полной информированности экспертов об исследуемых свойствах объекта.

Метод сопоставления.

При парном сравнении эксперт сопоставляет исследуемые объекты по их важности попарно, устанавливая в каждой паре наиболее важный.

Иногда эксперты приходят к выводу об эквивалентности каждого из объектов пары.

Сразу невозможно получить упорядоченный список рассматриваемых объектов, поэтому необходима последующая обработка результатов сравнения. Все возможные пары объектов эксперт представляет в виде записей комбинаций объект 1 – объект 2, объект 2 – объект 3 и т.д. Или в форме матрицы. Наиболее удобно осуществлять парные сравнения и их обработку используя в качестве инструмента матрицы. При большом количестве исследуемых объектов на результаты парного сравнения могут влиять психологические факторы, т.е. предпочтение порой получает тот объект, который в перечне пар записан первым или находится выше по расположению в матрице. Поэтому для исключения психологического влияния иногда проводят двойное парное сравнение, т.е. парное сравнение при обратном расположении объекта и, соответственно, объектов в паре.

Метод парных сравнений очень прост и позволяет исследовать большее количество объектов по сравнению например с методом рангов и с большей точностью.

Метод последовательного сопоставления.

Состоит в следующем: эксперты располагают все исследуемые объекты в порядке их важности как при использовании метода рангов. Предварительно каждому из объектов приписывается определённое количество баллов, например, по шкале 0-1 как при использовании метода оценивания.

Самому важному объекту даётся балл = 1, а всем остальным в порядке уменьшения их значимости, т.е. от 1 до 0.

Далее эксперт решает, будет ли важность объекта с рангом = 1 больше суммы оценок всех остальных объектов. Если будет, то величин балльной оценки первого объекта увеличивается до такого числового значения, чтобы она стала меньше суммы оценок всех остальных объектов.

Величины оценок 2, 3 и последующих объектов по важности определяются последовательно аналогично оценке первого наиболее важного объекта.

Этот метод для экспертов наиболее трудоёмок, особенно когда количество исследуемых объектов более 6-7.

Процедура проведения экспертизы.

Процедуры: организация экспертного оценивания; проведение сбора мнений экспертов; обработка результатов и мнений экспертов.

Практика показывает, что повышение объективности результатов использования экспертных методов существенно зависит от соблюдения правил организации, подготовки и проведения экспертных работ.

Для общего руководства экспертными работами создаётся экспертная комиссия, состоящая из 2-х групп: рабочая и экспертная. Рабочую группу возглавляет её руководитель. В его подчинение входят технические работники, осуществляющие технические работы по подготовке материалов к работе экспертов, обработку результатов работы экспертов.

Формирование экспертной группы включает в себя ряд последовательных мероприятий:

· постановку проблемы и определение области деятельности группы;

· составление предварительного списка экспертов, специалистов рассматриваемой области деятельности;

· анализ качественного состава предварительного списка экспертов и уточнение списка;

· получение согласия экспертов для участия в работе;

· составление окончательного списка экспертной группы.

Количество экспертов в группе зависит от множества факторов и условий, в частности от важности решаемой проблемы, располагаемых возможностей и т.д.

В большинстве случаев определяется минимально необходимое число экспертов.

Проблемы, для решения которых привлекаются методы экспертных оценок. Социологический анализ.

Экспертные методы вначале использовались в основном в области науки и техники, а затем начали широко применяться в управлении и экономике. Сущность этих методов как при решении задач ИСУ, так и при использовании их в практике обобщённого мнения (суждения) специалистов-экспертов по рассматриваемым вопросам. Это обобщённое мнение получается результате усреднения различными способами мнений специалистов-экспертов.

Это научные методы анализа сложных проблем. Эксперты проводят интуитивно-логический анализ проблемы с количественной оценкой суждений, с формальной обработкой результатов. Их обобщённое мнение, полученное в результате обработки индивидуальных оценок принимается как решение проблемы.

Проблемы, для решения которых приходится применять методы экспертных оценок часто делят на 2 класса, каждый из которых определённым образом влияет на этапы и процедуры проведения экспертизы.

Проблемы 1-го класса характеризуются тем, что в их отношении в целом имеется достаточная информация, но она может носить качественный характер или имеется многокритериальность, что вызывает необходимость привлечения экспертов. Основные задачи, которые в данном случае приходится решать при использовании методов экспертных оценок, состоит в поиске хороших экспертов и правильной организации процедуры экспертизы, при этом полагают, что групповое мнение экспертов приближается к истинному значению оцениваемых параметров. В этом случае при обработке оценок широко используются методы математической статистики. Эксперты чаще всего используют порядковую и интервальную шкалы.

Проблемы, составляющие второй класс, не характеризуются достаточным информационным потенциалом. К ним чаще относятся проблемы, возникающие при решении большинства задач прогнозирования. Здесь эксперты используют чаще номинальную и порядковую шкалы.

К разновидностям экспертного метода можно отнести социологический анализ, который основан на опросе, сборе и анализе мнений респондентов. Например, фактических или потенциальных потребителей. Такой опрос и сбор мнений производится обычно в письменной форме (анкеты), либо устно (конференции, аукционы, выставки).

При использовании этого метода также следует применять научно-обоснованные способы опроса, математические принципы сбора и обработки информации. Обработка экспертных и социологических данных, расчёты мер согласованности требуют трудоёмких вычислений. Поэтому при сборе и обработке результатов экспертной и социологической информации используют вычислительную технику и специально разработанные программные продукты.

Экспертное оценивание. Мера согласованности.

Может оказаться, что мнение какого-либо эксперта или экспертов, плохо сочетающиеся со среднеарифметическим мнением окажется истинным. Поэтому важнейшую роль здесь и приобретают процедуры качественной обработки оценок экспертов.

При обработке экспертных данных мнения экспертов часто совпадают не полностью. Поэтому необходимо количественно оценивать и выявлять причины несовпадения суждений. Мера согласованности определяется на основе статистических данных всей группы экспертов. Для её оценки используются как правило коэффициенты конкордации: дисперсионный и энтропийный.

 Скачать реферат