Иногда величие трудно определить. Прежде, чем продолжить приводить Чикаго буллс к шести чемпионатам NBA, Майкл Джордан был классно сокращен от его баскетбольной команды средней школы. Ученые часто сталкиваются с собственным отклонением — в их случае, привратники не являются тренерами средней школы, но редакторами журнала и пэрами, которых они выбирают для рассмотрения представленных статей. Исследование, изданное сегодня, указывает, что эта система делает разумную работу по предсказанию возможного интереса к большинству бумаг, но это может с силой послать воздушный мяч когда дело доходит до идентификации действительно меняющего правила игры исследования.
Изучение экспертной оценки является трудным из-за конфиденциального характера процесса, но социолог Кайл Силер из университета Торонто в Канаде и коллег смог исследовать историю экспертной оценки 1 008 статей, представленных трем элитным медицинским журналам: Летопись внутренней медицины, BMJ и Ланцета. Всего, всего 62 из рукописей были приняты (6,2%), подтвердив, как трудный это должно быть издано в главном журнале.
Редакторы “стол отклонили” 722 из рукописей, подразумевая, что они никогда не добирались до стадии экспертной оценки журнала. Однако 757 из первоначально отклоненных статей в конечном счете продолжали публиковаться в другом месте. Это позволило Силеру и его бригаде анализировать, если, как Иордания, бумаги, на которые накладывают вето, продолжат достигать величия.
Исследователи нашли, что в общем и целом система курирования была прогнозирующей из возможного числа газеты цитат. Бумаги, принятые напрямую одним из трех элитных журналов, были склонны собирать больше цитат, чем бумаги, отклоненные и затем изданные в другом месте, они сообщают онлайн сегодня в Продолжениях Национальной академии наук. Кроме того, бумаги, которые были отклоненным столом, продолжали получать меньше цитат, чем бумаги, утвержденные редактором, но тогда отклонившие во время последующего процесса экспертной оценки. “Это – знак, что у этих редакторов, принимающих поспешные решения действительно быстро все еще, есть нос для того, что качество и не”, говорит Силер.Существует серьезная щель в броне, хотя: Все 14 из наиболее высоко процитированных бумаг в исследовании были отклонены тремя элитными журналами, и 12 из тех были выброшены, прежде чем они могли достигнуть экспертной оценки.
Открытие предполагает, что нетрадиционное исследование, выходящее за пределы установленного хода мыслей, может быть более подвержено отклонению из главных журналов, говорит Силер.Часть неравенства может также явиться результатом использования цитат как измерение качества. Несмотря на то, что самые влиятельные идеи часто служат основанием для будущего исследования, очень технические темы с большим обращением ниши, менее вероятно, будут процитированы независимо от их научного качества. Аналогично, более доступные, бумаги «для потребителя с низким доходом» с практическими применениями могут получить больше цитат, говорит Силер. “Аналогия, которую я использую, ‘Действительно ли Nickelback являются лучшей полосой в мире?’ Нет, Не обязательно, но у них есть тот наименьший общий знаменатель, ниша среднего уровня.
Лучшее исследование, в некоторых случаях, могло бы быть более тайным”.Начальное отклонение всех 14 из наиболее высоко процитированных рукописей указывает, что процесс курирования совсем не совершенен.
И исследование Силера важно, по словам бихевиориста Билла Старбака из университета Орегона в Юджине, потому что “кто-либо, кто выпускает некоторые данные, имеющие дело с этим материалом, я думаю, полезен. Я хотел бы видеть больше этих испуганных клеток. Я хотел бы видеть, что люди заново продумали то, что они делают”.Один, возможно радикальный, раствор, который, кажется, наращивает обороты, состоит в том, чтобы устранить экспертную оценку перед публикацией в целом.
С повышением сетевых журналов, серверов перед печатью и академических сетей социальных связей, таких как ResearchGate, пространство страницы больше не в большом почете, позволяя большему количеству результатов быть изданным чем когда-либо прежде. “Я думаю, что мы были бы много более обеспечены, если бы мы просто издали все. Это – вероятно, направление, мир фактически идет”, заявляет Старбак.Низкие пропускные способности в журналах могут способствовать исключительности и престижу, Силер говорит, но если его образец является представительным для науки в целом, журналы могли бы также пропускать важное исследование, которое является тайным или нетрадиционным.
В случае 14 пропущенных пунктов, “то, что решают очень престижные журналы, не диктует окончательное значение или признание статьи”, отмечает Старбак.