Главная опасность при подборе состава экспертов состоит в завышении доли какой-либо подгруппы экспертов, заведомо близкой в своем мнении. Эта опасность заключается не только в односторонности выставляемой оценки, но и в том, что при обработке экспертных мнений все другие оценки потеряют свою значимость. По той же самой причине нежелательно включение в экспертную группу специалистов, авторитет которых резко отличается от среднего авторитета членов комиссии.
Используются группы экспертов двумя способами - индивидуально или группой. Индивидуальный, более распространенный и эффективный способ, заключается в том, что каждый эксперт дает оценку анонимно и независимо от других, а затем эти оценки обобщаются. Групповой способ основан на совместной работе экспертов и получении суммарной оценки от всей группы в целом. При таком способе согласование индивидуальных оценок сочетается с последовательным ознакомлением каждого эксперта с оценками остальных. Требование анонимности при таком способе соблюсти возможно, но при "бумажной технологии" уже появляются сложности.
Групповая экспертиза включает следующие обязательные этапы:
· разработка программы (выбор формы группового суждения с перечнем вариантов или оценок), рекомендаций, решений; выработка принципов и методов получения группового суждения;
· выбор техники опроса или способов выявления индивидуальных мнений;
· формирование экспертной группы;
· проведение опроса экспертов;
· обработка результатов (получение группового суждения);
· анализ результатов.
Результат работы экспертов отражается в документе, вариантами которого могут быть рекомендации, обобщающие оценки, решения. Самым гласным вариантом оформления экспертизы является решение. Самым распространенным - рекомендации, но с указанием определенных признаков будущего решения.
Подбор, согласование и утверждение экспертных комиссий обычно проводят начальник отдела кадров и руководитель организации (организации). Начальник отдела кадров знакомит экспертов с методикой оценки с помощью научного консультанта, который первый раз практически руководит всей работой. На уровне организации в состав экспертных комиссий (комиссия для оценки руководителей аппарата управления, комиссия для оценки линейных руководителей производственных подразделений, комиссия для оценки специалистов аппарата управления) включают обычно 3 - 5, но не более 7 человек. При этом в числе экспертов должны быть как оцениваемый, так и его руководитель.
Анкета оценки руководителя или специалиста, карточка эксперта на аттестуемого, бланк результатов опроса экспертов на аттестуемого, а также, бланк расчета итоговой оценки на аттестуемого - таковы обязательные документы почти любой методики независимо от способа расчетов (вручную или с использованием компьютера).
Основным инструментом аттестации является анкета, которая представляет собой специально разработанный вопросник, включающий перечень определенных качеств и варианты ответа. При этом перечень качеств, которыми должен обладать специалист, зависит от сферы его деятельности и занимаемой должности. Поэтому правильный подбор качеств, их перечень для каждой конкретной должности, а также оценки в баллах рекомендуется устанавливать конкретной экспертной комиссией в организации. Именно в этом - одно из важнейших условий объективной оценки работника.
После обсуждения результатов каждая экспертная комиссия утверждает не только перечень качеств для включения в анкету, но и определяет количественную оценку каждого качества в баллах. Например, в анкету рекомендованы десять качеств, и все они оценены по десятибалльной системе оценок (см. Таблицу 1).
Таблица 1.
№ Показатели Баллы
1 Способность к выработке и внедрению 10
оригинальных решений
2 Умение создавать в коллективе нормальный 9
психологический климат
3 Способность оперативно оценивать ситуацию и 8
принимать удачные решения
4 Стремление к профессиональному росту и 7
постоянному повышению квалификации
5 Дисциплинированность и организованность 6
6 Инициативность 5
7 Умение добиваться согласия в решениях и 4
действиях людей
8 Способность с энтузиазмом и увлечением 3
относиться к делу
9 Коммуникабельность 2
10 Способность проявлять интерес к смежным 1
специальностям
Расположены эти качества в анкете в ранжированный ряд - от более до менее значимого. В соответствии с этим и выставляется первая оценка аттестуемому. Она характеризует степень значимости качества. Вторая оценка - это оценка степени проявления этих же качеств аттестуемого по четырем вариантам ответа. Эксперт при этом должен установить, как часто определяемое качество проявляется у аттестуемого по следующей балльной шкале:
если всегда - 1,5 балла;
если в большинстве случаев - 1 балл;
если иногда - 0,5 балла;
если почти никогда - 0 баллов.
При первой оценке ставится знак "+" в графе против качества и его оценки в баллах. При второй оценке ставится знак "+" в графе, соответствующей мнению эксперта. Обработка результатов оценки аттестуемого осуществляется путем заполнения специального бланка - "Бланк результатов опроса экспертов на аттестуемого". С этой целью знаки "+" из анкет, поставленные экспертами, переносят со знаком "V" в этот бланк. В другом бланке ("Бланк расчета средней оценки аттестуемого") по каждому качеству рассчитывается средний балл по формуле: Зср = (З10 x n10 + З9 х n9 + . + З1 x n1)/n, где
Зср - средний балл оценки качества по степени его функциональной значимости;
З10 . 31 - оценка экспертом степени значимости качества по десятибалльной
шкале;
n10 . n1 - количество экспертов, которые присвоили качеству оценку по степени
значимости (в баллах);
n - общее количество экспертов.
Одновременно в этом же бланке по каждому из качеств рассчитывается средний балл степени проявления этого качества у аттестуемого по формуле
Пср = (П1,5 х n1,5 + П1 x n1 + П0,5 х n0,5)/n, где
Пср - средняя оценка степени проявления качеств у аттестуемого;
П1,5 . П0,5 - степень проявления качеств у аттестуемого по оценке экспертов;
n1,5 . n0,5 - количество экспертов, отнесших качество к степени его проявления
у аттестуемого к тому или иному баллу оценки;
n - общее количество экспертов
Затем по каждому качеству определяется средневзвешенный балл по формуле: К = Зср x Пср, где К - качество.
Далее путем суммирования средневзвешенных баллов по всем качествам определяется итоговый балл оценки аттестуемого. Итоговую оценку комиссия сравнивает с эталоном. Расчет эталона производится следующим образом: сумма баллов по всем 10 качествам (10+9+8+7+6+5+4+3+2+1 = 57) умножается на 1,5 (коэффициент степени проявления качества, если оно проявляется всегда), или на 1,0 (если оно проявляется в большинстве случаев), или же на 0,5 (если качество присутствует иногда). В итоге получаем следующие результаты: