Следовательно, возникающий в процессе совместных действий результат (продукт) может быть лишь частично отнесен на счет государственных организаций.
Продукты взаимозависимы
Продукты многих государственных организаций являются взаимозависимыми. Так, в муниципалитете результат работы отдела по планированию может повлиять на результат деятельности отдела по охране окружающей среды. Оценка эффективности работы отдела по планированию исключительно по продукту снижает стимулы к развитию системы взаимодействия между отделами.
Таким образом, эффективно работающее подразделение не всегда способствует росту эффективности работы организации в целом. Следовательно, применение системы оценки эффективности может способствовать снижению синергетического эффекта организации.
Причинно-следственные связи неизвестны, неочевидны или неоднозначны.
Связь между усилиями и результатом не всегда является очевидной. Беседа с заключенным, целью которой является предотвращение повторных преступлений, — лишь один из факторов, определяющих, нарушит ли заключенный закон впоследствии. Предсказать вероятность того или иного исхода сложно. Результат (в вышеприведенном примере — отсутствие повторных преступлений у бывшего заключенного) лишь частично зависит от этой беседы (приложенных усилий), поэтому результаты измерения качества работы не совсем точно отражают эффективность деятельности организации. Организация может определить свой продукт иначе (например, количество проведенных с заключенными бесед), однако и это не обеспечит адекватного представления о деятельности.
Оценка эффективности не дает объективного представления о качестве работы.
Качество деятельности государственных организаций сложно оценить при помощи индикаторов. Если все же такие показатели используются, то возникает риск того, что избыточное внимание к количественным показателям снизит внимание к качеству. Стоит отметить, что для определенных видов деятельности измерение качества вообще нежелательно. Так, в Нидерландах оценка эффективности работы судов не предполагает измерения качества, т.к. это может повлиять на их независимость
Результат можно интерпретировать по-разному в зависимости от условий.
Одинаковые результаты в различных условиях можно интерпретировать по-разному. Например, одним из результатов деятельности факультета университета являются научные публикации. В сферах деятельности, для которых характерна разрозненность научного сообщества (программирование, политология и т.д.), признание публикаций означает нечто иное, нежели в точных науках (например, в теоретической физике), где научное сообщество связано тесными узами и "своим" языком. Если одинаковый продукт может получать неоднозначную оценку в различных условиях, измерение качества работы сформирует неверное представление об истинном положении дел. В частности, оно потребует сравнения в принципе несравнимых типов деятельности.
Внешняя среда динамична, а не статична.
Некоторые из вышеперечисленных сложностей оценки эффективности усугубляются в условиях динамичной внешней среды. В случаях изменения условий совместного производства продукта, необходимости организации других взаимосвязанных форм деятельности, возникновения форс-мажорных обстоятельств по вине третьих сторон и т.п. точность измерения качества работы снижается (равно как и возможность проследить динамику изменения этого показателя на определенном отрезке времени). Система оценки эффективности организации базируется на допущении о стабильности среды, в которой эта организация действует.
Отмеченные сложности измерения результативности деятельности госучреждений все же не дает оснований для вывода о принципиальной невозможности ее измерения. Х. Брюйн [Брюйн Х. де, 2005] приводит примерный перечень направлений развития систем измерения результативности работы государственных организаций, выявленных им в результате обзора западной литературы.
Рассмотрим эти направления.
Регулирование системы и ограничение ее действия.
Первое направление совершенствования системы оценки эффективности — ее регулирование и ограничение действия.
Регулирование может быть осуществлено несколькими способами.
· Важным показателем для любой государственной организации является количество производимых ею продуктов (количество видов деятельности). Размышляя о продуктах той или иной государственной организации, можно обозначить ряд индикаторов. Продуктом деятельности суда, например, является урегулирование судебного дела. В Нидерландах система оценки эффективности выделяет 48 типов урегулирования судебной тяжбы. Такое количество продуктов явилось результатом существования различных моделей судебных дел и видов их урегулирования.
· Не существует одного единственного "правильного" показателя для оценки того или иного вида деятельности. Организация всегда должна использовать набор показателей. Существуют индикаторы для оценки производительности, эффективности, качества работы в краткосрочном и долгосрочном периодах. Важно иметь целый комплекс показателей, отражающих влияние организации на различные группы потребителей — клиентов, политиков, экспертов и т.п. Только в этом случае можно выбрать один-два необходимых показателя и включить их в систему оценки эффективности деятельности организации.
· В дополнение к показателям оценки продукта существуют показатели оценки процессов. Результаты деятельности отдельных подразделений организации способствуют созданию продукта организации в целом. Таким образом, иногда более интересны индикаторы, позволяющие оценивать процессы, нежели продукты.
При регулировании системы оценки качества выполненной работы следует учитывать период, необходимый для производства продукта. Чаще всего оценка эффективности привязывается к однолетнему бюджетному циклу (хотя создание продукта может занимать более длительный срок). Система оценки эффективности должна соответствовать естественному циклу производства продукта: это важный аргумент в пользу того, чтобы производить такую оценку в некотором отрыве от бюджетного периода.
Регулирование системы оценки эффективности почти всегда сопровождается признанием ограниченности возможностей ее использования. Часть продуктов организаций государственного сектора не поддается оценке. Поэтому при создании процедур оценки эффективности деятельности надо понимать, что почти всегда найдутся продукты, не входящие в нее. Так, из вышеупомянутой системы оценки эффективности работы судебных органов были исключены крупные судебные дела. Хотя они и являются продуктом работы судебных органов, они очень специфические, и включение их в систему оценки эффективности не имело смысла.
Другая опасность заключается в способности системы разрастаться (к ее разрастанию могут приводить попытки "по заслугам" оценить все возможные виды деятельности организации, что влечет за собой рост количества показателей). Таким образом, возможности оценить все возможные виды деятельности организации с точки зрения ее эффективности ограничены (впрочем, как и система оценки эффективности в целом). Результат измерения эффективности деятельности является аппроксимацией действительности.