Основным недостатком метода является то, что он не позволяет корректно сопоставить два и более альтернативных варианта.
Метод сравнения положений «до» и «после» позволяет принимать во внимание не только количественные, но и качественные показатели различных проектов. Однако этому методу присуща высокая вероятность субъективной интерпретации информации и прогнозов.
Сопоставительная экспертиза состоит в сравнении положения предприятий и организаций, получающих государственное финансирование с теми, кто его не получает. В этом методе обращается внимание на сравнимость потенциальных результатов осуществляемого проекта, что удовлетворяет требованиям проверки экономической обоснованности конкретных решений по финансированию краткосрочных и быстро окупаемых проектов.
Метод сопоставительной экспертизы применяется в США и других странах с развитой рыночной экономикой. Вместе с тем, этот метод также имеет недостатки, в частности, он не применим при выработке долгосрочных приоритетов государственной политики.
Плюсы и минусы различных методов экспертизы инновационных проектов обусловливают их комбинированное применение.
Специальной комиссией ОЭСР рекомендовано руководствоваться следующими принципами проведения экспертиз:
- наличие независимой группы исследователей, выступающих арбитрами в спорных ситуациях по результатам экспертизы, по подбору специалистов ее проводящих и методам контроля;
- при расчете добавленной стоимости деятельность в области исследований и нововведений рассматривается как производственная;
- осуществлять предварительное прогнозирование и планирование расходов на среднесрочную перспективу, чтобы иметь возможность определить предполагаемую эффективность и время для контроля;
- увязывать методы контроля с перспективами развития системы руководства научно-технической политикой на государственном уровне;
В ряде стран, например, во Франции, экспертная оценка проектов и контроль за их исполнением проводятся теми организациями, которые осуществляют их финансирование. Обязательными параметрами являются: сроки завершения отдельных этапов работ и всего проекта и степень риска, связанного с осуществлением проекта. В связи с этим во Франции сроки проведения крупномасштабных прикладных исследований колеблются от 8 до 15 лет.
При экспертизе проектов должно быть учтено потенциальное воздействие результатов исследований или разработок на социальную, экономическую и экологическую среду. К каждой экспертной группе может быть подключен высококвалифицированный представитель заказчика экспертизы. Эксперты имеют право требовать любую информацию, касающуюся разрабатываемого проекта.
В странах с развитой рыночной экономикой работа экспертов не ограничивается только оценкой проект, но может предусматривать и контроль за ходом работ. При этом методы контроля должны соответствовать уровню проводимых экспертиз.
Экспертиза содержит не только количественную, но и качественную оценку проектов. При принятии решений учитываются оценки, высказанные каждым членом экспертной группы.
В России выделение ассигнований для финансирования капитальных вложений, затрат на научные исследования и разработки и прочих текущих затрат по федеральным научно-техническим программам, утвержденным Правительством Российской Федерации осуществляется целевым назначением государственному заказчику через Федеральный бюджет на очередной финансовый год.
Реализация федеральных научно-технических программ осуществляется на основе Государственных контрактов, которые заключаются государственными заказчиками с исполнителями программ, отбираемых на конкурсной основе.
Экспертизу проектов в области гуманитарных и общественных наук проводят Российский гуманитарный научный фонд (РГНФ) и Российский фонд фундаментальных исследований (РФФИ).
В РГНФ экспертная оценка формализуется в виде ответов на вопросы экспертной анкеты и предусматривает следующие варианты итогового заключения эксперта:
5 – проект заслуживает безусловной поддержки;
4 – проект заслуживает поддержки;
3 – проект может быть поддержан;
2 – проект не заслуживает поддержки;
1 – проект не заслуживает рассмотрения экспертным советом.
В экспертной анкете учитывается наличие или отсутствие обстоятельств, затрудняющих объективную экспертизу. Это может быть связано с «конфликтом интересов».
Ситуация «конфликта интересов» может быть связана с тем, что: не совпадают научные интересы эксперта и содержания проекта; эксперт состоял или состоит в партнерских, финансовых, родственных отношениях с руководителем или исполнителями проекта; в отношениях научного руководства с руководителем (или с одним из основных исполнителей проекта).
Экспертная оценка дается на основе анализа научного содержания проекта и научного потенциала автора (или авторского коллектива).
При анализе изложения замысла проекта учитывается:
- четкость изложения замысла проекта (четкая, нечеткая);
- четкость определения цели и методов исследования (четко, нечетко);
- качественные характеристики проекта (проект имеет: фундаментальный характер; междисциплинарный или системный характер; прикладной характер);
- научный задел (имеются: существенный научный и методологический задел в решении сформулированной в проекте проблемы; публикации по заданной теме; научно-методическая проработка решения проблемы отсутствует);
- новизна постановки проблемы (автором впервые сформулирована и научно обоснована проблема исследования; автором предложены оригинальные подходы к решению проблемы; сформулированная в проекте проблема исследования известна науке и автором не предложены оригинальные подходы к решению проблемы).
Научный потенциал авторского коллектива оценивается с учетом анализа научного содержания проекта (автор (участники) в состоянии выполнить заявленную работу); эксперт сомневается в возможности выполнить заявленную работу.
Таким образом, эксперт должен дать не только описание проекта, но и оценить его актуальность для данной отрасли знаний; относится ли проект к приоритетным направлениям исследований; новизну поставленной проблемы; перспективы развития проекта; качественный состав участников и обосновать по вышеприведенной системе оценку проекта.
Для экспериментально-лабораторных исследований предусматриваются ответы на следующие вопросы:
- подготовлены ли программы исследований;
- подготовлены ил анкеты для опроса;
- проведено ли пилотажное исследование.
РФФИ проводит экспертизу на основе сравнительного анализа нескольких проектов. Экспертиза предусматривает три уровня.
Первый уровень представляет предварительное рассмотрение проекта и решение следующих задач:
- отбор проектов для участия во втором уровне экспертизы;
- составление мотивированных заключений по отклоненным проектам;
- определение экспертов по каждому проекту, прошедшему на индивидуальный уровень экспертизы.
Формализация результатов экспертизы осуществляется на рейтинговой основе.
На втором уровне экспертизы устанавливается рейтинг индивидуального проекта.