Чтобы осуществить эти методы сообщения, большинство журналов полагается на процесс экспертной оценки – в котором другие ученые рассматривают результаты исследования перед публикацией – но относительно немного журналов измеряют качество и эффективность процесса.В комментарии, изданном 20 июля в журнале Science, победите автора Кэрол Ли, и соавтор Дэвид Моэр определяют стимулы, которые могли поощрить журналы «открывать черный ящик экспертной оценки» ради улучшающейся прозрачности, воспроизводимости и веры в изданное исследование. Ли – адъюнкт-профессор философии в Вашингтонском университете; Моэр – старший научный сотрудник из Больницы Оттавы и адъюнкт-профессор в Университете Оттавы.
Ли и Моэр рассматривают это как коллективную проблему действия, требующую лидерства и инвестиций издателей.«Наука была бы более обеспечена, если бы журналы допускали и участвовали в эмпирическом исследовании и гарантии качества их процессов экспертной оценки», пишут они. «Однако выполнение так ресурсоемкое и происходит в значительный риск для отдельных журналов в форме неблагоприятных доказательств и негативных отзывов в прессе».Чтобы помочь журналам управлять репутационным риском, связанным с ревизией их собственных процессов экспертной оценки, Ли и Моэр предлагают пересмотреть Прозрачность и Открытость (ВЕРШИНА) Рекомендации, ряд добровольных стандартов сообщения, к которым 2 900 журналов и организации – теперь подписавшиеся. Эти рекомендации были изданы в Науке в 2015 комитетом исследователей и представителей некоммерческих научных организаций, агентств по гранту, филантропических организаций и элитных журналов.
Ли и Моэр предлагают добавить новую категорию к ГЛАВНЫМ рекомендациям «указание на готовность журнала облегчить метаисследование в области эффективности его собственных методов экспертной оценки». С ними могут выбрать журналы, какой ряд или уровень они берут. Более высокие уровни прозрачности включили бы более высокий риск.
Для самого низкого ряда журналы публично раскрыли бы, проводят ли они внутренние оценки экспертной оценки, в которой они в состоянии сохранить результаты исследования для внутреннего пользования.В среднем ряду журналы раскрыли бы результаты своих внутренних оценок экспертной оценки, но могли поддержать гибкость в том, как они сообщают о своих результатах для наружного применения. Например, результаты могли быть соединены через несколько журналов, чтобы снизить риск для любого единственного журнала.В верхнем ряду журналы могли согласиться оставить данные и исследования исследователям за пределами их учреждения для сторонней проверки.
Это – выбор, Ли и Моэр пишут, «это могло бы обратиться особенно к издателям с меньшим количеством ресурсов, поскольку он помещает финансовое бремя в тех, которые проводят метаисследование». Журналы, проводящие их собственные исследования, могли предварительно зарегистрироваться, их проекты исследования тогда вносят их данные публично онлайн.Соглашаясь на эти более строгие рекомендации, авторы пишут, у издателей и журналов был бы шанс узаконить и рекламировать относительное качество их процесса экспертной оценки в возрасте, когда хищные журналы, которые ложно утверждают, что использовали экспертную оценку, продолжают распространяться.«Незаконные журналы становятся большой проблемой для науки», сказал Моэр. «Истинные научные журналы могут отличиться прозрачностью об их процессах экспертной оценки».
Инвестирование в исследование в области экспертной оценки журнала будет дорогостоящим, они соглашаются. Ли и Моэр предполагают, что большие экспериментальные исследования необходимы, чтобы судить, что эффективность различных сетевых шаблонов экспертной оценки проводит в жизнь стандарты сообщения, и способов, которыми можно было бы обучить авторов, рецензентов и редакторов использовать такие инструменты и оценивать исследование.Также необходимый, они говорят, способы обнаружить недостатки в статистическом и методологическом сообщении о научно-исследовательской работе и понять, как число и относительные экспертные знания рецензентов пэра могут улучшить оценку.Крупнейшие издатели, размер прибыли которых конкурирует с теми из фармацевтической продукции и технических гигантов, могут позволить себе вложить капитал в необходимую технологию, и ресурсы должны были выполнить эти аудиты, говорят исследователи.
«Издатели должны вложить капитал в их собственные бренды и репутации, вложив капитал в качестве их процессов экспертной оценки», сказал Ли. «В конечном счете это улучшило бы качество изданной научной литературы».