Экспертная оценка – процесс, используемый самым правительственным и многими неправительственными программами научного исследования в Соединенных Штатах, чтобы рассмотреть, проанализировать, и определить самое многообещающее исследование. Большинство экспертов соглашается, что экспертная оценка играла решающую роль в вождении национальной R&D системы, которая была фондом для экономического роста и продвижений в безопасности, здоровье и охране окружающей среды в течение 20-х и 21-х веков.
В 2014 один, американское правительство потратило приблизительно $136 миллиардов на R&D.Исследование проводилось AIBS, чтобы обеспечить лучшее понимание того, как использование организации телеконференций для групп экспертной оценки гранта может изменить результаты по сравнению с традиционными совещаниями специалистов экспертной оценки лицом к лицу.
«Лучшее понимание того, как урегулирование или использование технологии влияет на динамику группы экспертной оценки, позволит сообществу оценки исследования принять более информированные решения финансирования», сказал Скотт Глиссон, исполнительный директор AIBS Co-Интерима. «Чтобы финансировать самое высокое исследование воздействия, мы должны понять, как факторы, которые могут влиять на функционирование группы экспертной оценки, могут повлиять на обсуждение и в конечном счете финансирование решений».Это исследование рассмотрело влияния использования организации телеконференций, потому что финансирующие агентства часто интересуются использованием этой технологии, чтобы уменьшить затраты и бремя времени, помещенное в членов комиссии, которые едут в локальные совещания специалистов.Предыдущее исследование AIBS нашло, что времена обсуждения были значительно короче для параметров настройки телеконференции по сравнению с лицом к лицу, но влияние обсуждения прикладного выигрыша было неясно.
Этот анализ сравнил очки предложения рецензентами прежде и после соблюдения экспертной оценки. Авторы измерили величину и направление изменений счета.
Сравнения этих изменений счета были сделаны для лицом к лицу и параметров настройки телеконференции, которые обеспечили понимание эффекта коммуникационной среды на последующих образцах выигрыша.«Выигрыш постобсуждения изменений был, в среднем, маленьким в обоих параметрах настройки.
Обсуждение было важно по крайней мере для 10% заявлений, независимо от урегулирования, с этими заявлениями, отодвигающимися порог, чтобы получить финансирование или не», сказал доктор Стивен Галло, автор исследования. «Маленький, но статистически значимые различия в образцах выигрыша постобсуждения были раскрыты между параметрами настройки, включая уменьшение в величине изменений счета в группах телеконференции по сравнению с лицом к лицу. Однако время обсуждения имело мало влияния на величину этих изменений счета».
Интересно, публичное обсуждение, как находили, часто приводило к более плохим очкам когда по сравнению с начальными очками перед встречей. Другими словами, очки обзора ухудшились после того, как группы объединились и обсудили предложение.
Это было верно независимо от урегулирования.Тонкие различия, наблюдаемые между параметрами настройки, происходили потенциально из-за уменьшенного участия рецензента в телеконференциях.
Больше исследования необходимо, чтобы понять степень этого явления, а также психологию принятия решений, выступления команды и убеждения, чтобы лучше объяснить эффекты группового урегулирования экспертной оценки.