двойное слепое рецензирование что это
Что такое рецензирование?
Уважаемые коллеги, представляем вашему вниманию небольшой материал о рецензировании, составленный на основе перевода страницы What is peer review? (сайт издательского дома Elsevier, который владеет наукометрической базой Scopus), а также материалов сборника Подготовка и издание научного журнала.
Рецензенты играют центральную роль в научной публикации. Экспертная оценка помогает подтвердить качество научных исследований, установить метод, с помощью которого они могут быть оценены, а также расширить возможности сетевого взаимодействия в исследовательских сообществах. Несмотря на критику, экспертная оценка (рецензирование) по-прежнему остается единственным широко распространенным методом подтверждения научных исследований.
Виды рецензирования
Одностороннее «слепое» рецензирование (Single-blind review)
Одностороннее «слепое» рецензирование (Single-blind review)Имена рецензентов скрыты от автора. Это традиционный метод рецензирования, который принято считать самым общим видом.
Преимущества. Анонимность рецензента позволяет принимать решения, справедливость которых не зависит от влияния автора.
Недостатки. Авторы опасаются, что рецензенты, работающие в той же самой сфере, могут отказаться от предоставления рецензии в целях отложения срока публикации, тем самым получив возможность первыми осуществить публикацию. Рецензенты могут использовать свою анонимность как оправдание чрезмерной критичности или жесткости при комментировании авторской работы.
Двойное «слепое» рецензирование (Double-blind review)
Двойное «слепое» рецензирование (Double-blind review)Анонимными остаются и автор, и рецензент.
Преимущества. Анонимность автора позволяет избежать предвзятости со стороны рецензента (страна, биография, предыдущие работы). Статьи популярных авторов рассматриваются на основании их содержания, а не на основании репутации автора.
Недостатки. Есть вероятность, что материал не будет по-настоящему «слепым», особенно если он относится к сфере узкой специализации. Рецензенты зачастую могут идентифицировать автора, основываясь на его стиле написания, теме статьи или цитировании им своих предыдущих работ.
Более подробную информацию для авторов можно найти в Руководстве по Double-Blind Peer Review
Открытое рецензирование (Open review)
Открытое рецензирование (Open review)Рецензент и автор известны друг другу.
Преимущества. Некоторые ученые считают, что такое рецензирование – лучший способ избежать жестких комментариев, предотвратить плагиат, пресечь желание рецензента быстрее выполнить свой план работы и получить открытую, честную рецензию.
Недостатки. Другие думают иначе. В открытом рецензировании некоторые видят наименее честный процесс, при котором вежливость или страх наказания могут вынудить рецензента воздержаться от критики или свести ее к минимуму. К примеру, младшие рецензенты могут посчитать, что лучше не критиковать почетных авторов, чтобы не навредить своей перспективе.
Более прозрачное рецензирование (More transparent peer review)
Более прозрачное рецензирование (More transparent peer review)Рецензенты играют жизненно важную роль в академической публикации, но их вклад часто остается скрытым. Три журнала Elsevier теперь публикуют в ScienceDirect дополнительные файлы с рецензиями вместе со статьями. Признается значимая роль рецензентов в публикационном процессе. Качество опубликованных статей улучшается, обогащается опыт чтения.
Схема процесса рецензирования Elsevier
Более подробную информацию о рецензировании можно найти в Elsevier Publishing Campus.
Рекомендуемая литература
Надеемся, информация будет для Вас полезной. С уважением. Участники OSU.
Двойное слепое
Алексей Вдовин, доцент Школы филологии НИУ ВШЭ – Москва
В сентябре 2018 года сайт журнала Media Theory опубликовал провокативное эссе Let’s Abolish the Peer-Review System авторитетного голландского культуролога, теоретика литературы и искусства Мике Баль. Она сформулировала 10 тезисов, свидетельствующих, с ее точки зрения, о глубоком кризисе системы двойного слепого рецензирования в издательской практике. Основная причина – в окостенении правила, его превращении в незыблемое и не подлежащее корректировке требование, которое часто бездумно применяется редакторами и редакциями, что, с точки зрения Баль, препятствует взрывному, нелинейному развитию научного знания. Общей рамкой, внутри которой сложилась такая практика, она считает неолиберализм.
Если чуть подробнее разворачивать аргументацию Баль, то она сводится к критике рутинизации и излишней формализации процедуры анонимного рецензирования, приводящей к эрозии новых, непредсказуемых идей. Система стала слишком консервативной, нацеленной на воспроизводство уже устоявшегося знания и опирающейся на мнение ограниченного числа и рецензентов, и авторитетов, на которых нельзя не ссылаться. Работая в таком режиме, система подчас достигает цели, прямо противоположной декларируемой. Часто случается так, что редакторы журналов рассылают статьи на рецензию проверенным и знакомым экспертам не потому, что те являются признанными специалистами в данной сфере, но просто потому, что они напишут в срок, а ведущий специалист – никогда (ибо он вообще отказывается рецензировать). В итоге, как правило, публикуется то, что совпадает с мнением рецензентов, а если не совпадает, рискует так и остаться в рукописи или быть опубликованным в любом ином месте, где нет двойного слепого. Одновременно это можно описать и как симптом ослабления власти редактора, который оказывается заложником такой системы и может перекладывать ответственность на рецензентов, боясь публиковать рукопись, по тем или иным причинам не встретившую одобрения у экспертов. В принципе «одобряю, если и другие одобряют» Баль видит глобальную угрозу развитию научного знания.
Конечно же, эссе Баль не осталось без ответа: в комментариях на сайте появилось более 20 отзывов разной степени аргументированности. Можно согласиться, что Баль выбрала крайние случаи и без специальных замеров и исследований сделала из них далеко идущие выводы о состоянии всей системы. Вызывает большие сомнения и невнятный план Баль вернуться к старым добрым «редакционным советам», что якобы решит не решенные двойным слепым проблемы. Да, система может иметь издержки и порождать злоупотребления, но она лучшая из всех существующих, как считают многие.
Так или иначе, каждый, кто публикуется в англоязычных журналах и входит в их редколлегии, прекрасно знает, что многие из описанных Баль проблем действительно существуют, но в разных журналах проявляются в разных масштабах. Все мы хотя бы раз слышали печальные истории о том, как редакция отклонила рукопись автора только потому, что рецензенты считают выводы слишком смелыми, а предлагаемую интерпретацию чересчур «постмодернистской». При этом редакция отказывается брать на себя смелость не поверить рецензентам и опубликовать статью. Как мы помним из истории науки, всегда есть вероятность, что среди отклоненных окажется методологически прорывной текст, который опережает свое время.
Два с половиной года работы редактором в одном почтенном международном гуманитарном журнале убедили меня и в том, что пул рецензентов часто в самом деле узок и замкнут на любое региональное сообщество или на сложившуюся сеть экспертов с минимальным включением специалистов из других регионов. Если речь о русистике (или любых иных area studies), такой расклад может оказаться фатальным для дисциплины, поскольку отсекает потенциально компетентных экспертов. Особенно нелепо, когда за бортом оказываются русисты из российских университетов, которые в первую очередь должны быть вовлечены в дело. Поэтому важнейшей задачей для любого уважающего себя высокорейтингового журнала становится регулярное пополнение круга рецензентов новыми коллегами из разных регионов поверх привычных и милых сердцу сетей научного взаимодействия.
Многие известные журналы испытывают и другие проблемы, о которых не пишет Баль, но которые все чаще обсуждаются в научном сообществе. Так, холдинги-гиганты типа Elsevier оказывают на редакции журналов вполне ощутимое давление, диктуя некоторые экстранаучные параметры будущих номеров: это и язык (должен превалировать английский), и закрытый доступ, и возможный запрет автору распространять свой текст в интернете. Все эти ограничения со стороны издателя, преследующего чисто коммерческие цели, уже приводили и будут приводить к протесту со стороны ученого сообщества. Так, в начале 2018 года консорциум из 200 немецких университетов отказался от дорогостоящей подписки на 2500 эльзевировских журналов и добился, чтобы компания продлила им годовую подписку бесплатно.
В общем, нам есть чему поучиться у западных коллег – и не только в продвижении своих стандартов науки, но и в их критике.
Двойное слепое рецензирование что это
Ошибка в понимании понятия «двойное слепое рецензирование»
Первый эксперимент
Так, в начале 2017 года Институт физики ( IOP ) предоставил авторам возможность выбрать двойное слепое рецензирование. Эта опция была доступна для Materials Research Express и Biomedical Physics & Engineering Express. В течение первых семи месяцев 20 % авторов выбрали вариант двойного слепого рецензирования. Авторы из Индии, Африки и Ближнего Востока, скорее всего, запросили этот вариант.
Предвзятость в рецензировании – реальная проблема. Было проведено много исследований, показывающих, что женщины и меньшинства с меньшей вероятностью будут опубликованы, профинансированы или продвинуты. Эта необъективность может быть как сознательной, так и бессознательной. В научных публикациях это означает, что женщин меньше просят рецензировать статьи. Это также означает, что статьи женщин цитируются реже. Существуют две модели рецензирования, в которых личности скрыты. Что с большей вероятностью избавит от предвзятости?
Второй эксперимент
Конференция 2017 года Web Search and Data Mining предоставила хорошую возможность для экспериментов с этой теорией. В области компьютерных наук статьи часто появляются первыми (или исключительно) на рецензируемых конференциях. Программный комитет решил случайным образом разделить своих рецензентов на две группы. В одной группе рецензент мог стать двойным слепым рецензентом. В другой – одинарным слепым рецензентом. Эксперимент должен был помочь решить, какой подход может иметь большую необъективность.
Авторы обнаружили, что между группами рецензентов были различия. Все рецензенты имели доступ к заголовкам и тезисам докладов. Исходя из этого, рецензенты указывали, какие документы они хотели рецензировать. Рецензенты одинарного слепого рецензирования просили дать им рецензировать на 22 % меньше статей. Они также с большей вероятностью выбирали статьи из лучших университетов или ИТ-компаний для рецензирования. Такие рецензенты также с большей вероятностью давали положительную рецензию работам известного автора.
Рецензенты одинарного слепого рецензирования имели доступ к именам авторов и учреждениям. Исследование показывает, что учреждение автора оказало значительное влияние на положительное решение, принятое такими рецензентами. На этой конференции не было обнаружено предвзятости в отношении авторов-женщин. Мета-обзор, объединяющий данные этой конференции с другими исследованиями, показал, что существует значительная предвзятость в отношении женщин-авторов.
Эксперимент конференции Web Search and Data Mining показывает, что рецензенты одинарного слепого рецензирования используют информацию об авторах и учреждениях в своих рецензиях. Возможно, эта информация помогает рецензентам принимать более правильные решения. Возможно также, что это ставит работу непрестижных учреждений и авторов в невыгодное положение. Рецензенты одинарного слепого рецензирования могут по-разному оценивать две статьи одинакового качества в зависимости от того, кто их написал.
Хотели бы отметить, что журналы нашего издательства практикуют двойное слепое рецензирование:
Одинарное слепое и двойное слепое рецензирование
Рецензирование академических исследований лежит в основе опубликования. Важно, чтобы этот процесс не был испорчен предвзятостью рецензента. Существуют два популярных режима рецензирования. В одинарном слепом рецензировании авторы не знают, кто рецензенты. Рецензенты знают, кто авторы. В двойном слепом рецензировании ни авторы, ни рецензенты не знают имен друг друга. Одинарное слепое рецензирование – традиционная модель. Тем не менее, для устранения предвзятости в экспертной оценке существуют обе модели.
Физический эксперимент
В начале 2017 года Институт физики (IOP) предоставил авторам возможность выбрать двойное слепое рецензирование. Эта опция была доступна для Materials Research Express и Biomedical Physics & Engineering Express. В течение первых семи месяцев 20% авторов выбрали вариант двойного слепого рецензирования. Авторы из Индии, Африки и Ближнего Востока, скорее всего, запросили этот вариант.
Данные IOP указывают на то, что большее количество работ были отклонены при модели двойного слепого рецензирования. При этой модели было отклонено около 70% статей. С другой стороны, в рамках одинарного слепого рецензирования были отклонены только 50% работ. Различие может быть связано с тем, что рецензенты предполагали, что авторы, запрашивающие этот вариант, написали плохие статьи. Это также может быть связано с тем, что рецензенты действовали более объективно. Тем не менее, авторы при двойном слепом рецерзировании были удовлетворены и сочли это самым справедливым подходом.
Предвзятость в рецензировании – реальная проблема. Было проведено много исследований, показывающих, что женщины и меньшинства с меньшей вероятностью будут опубликованы, профинансированы или продвинуты. Эта необъективность может быть как сознательной, так и бессознательной. В научных публикациях это означает, что женщин меньше просят рецензировать статьи. Это также означает, что статьи женщин цитируются реже. Существуют две модели рецензирования, в которых личности скрыты. Что с большей вероятностью избавит от предвзятости?
Двойное слепое и одинарное слепое рецензирование
Конференция 2017 года Web Search and Data Mining предоставила хорошую возможность для экспериментов с этой теорией. В области компьютерных наук статьи часто появляются первыми (или исключительно) на рецензируемых конференциях. Программный комитет решил случайным образом разделить своих рецензентов на две группы. В одной группе рецензент мог стать двойным слепым рецензентом. В другой – одинарным слепым рецензентом. Эксперимент должен был помочь решить, какой подход может иметь большую необъективность.
Авторы обнаружили, что между группами рецензентов были различия. Все рецензенты имели доступ к заголовкам и тезисам докладов. Исходя из этого, рецензенты указывали, какие документы они хотели рецензировать. Рецензенты одинарного слепого рецензирования просили дать им рецензировать на 22% меньше статей. Они также с большей вероятностью выбирали статьи из лучших университетов или ИТ-компаний для рецензирования. Такие рецензенты также с большей вероятностью давали положительную рецензию работам известного автора.
Рецензенты одинарного слепого рецензирования имели доступ к именам авторов и учреждениям. Исследование показывает, что учреждение автора оказало значительное влияние на положительное решения, принятое такими рецензентами. На этой конференции не было обнаружено предвзятости в отношении авторов-женщин. Мета-обзор, объединяющий данные этой конференции с другими исследованиями, показал, что существует значительная предвзятость в отношении женщин-авторов.
Эксперимент конференции Web Search and Data Mining показывает, что рецензенты одинарного слепого рецензирования используют информацию об авторах и учреждениях в своих рецензиях. Возможно, эта информация помогает рецензентам принимать более правильные решения. Возможно также, что это ставит работу непрестижных учреждений и авторов в невыгодное положение. Рецензенты одинарного слепого рецензирования могут по-разному оценивать две статьи одинакового качества в зависимости от того, кто их написал.
Обзор экспертной оценки
С другой стороны, двойное слепое рецензирование дает ложное чувство безопасности. Известных авторов легко определить по характеру их работ. В статье также могут быть ссылки на предыдущие работы, которые они опубликовали. Могут быть и другие подсказки, такие как предпочтение техники или соединения. Это означает, что даже без имен рецензенты могут выяснить, кто написал статью. Поэтому было бы лучше сообщить рецензенту, кто написал статью, и спросить, существует ли конфликт интересов.
Фактический процесс удаления информации об авторе, чтобы скрыть личность, терпит неудачу в 46-73% случаев. Проблема не в том, чтобы определить автора. Проблема в том, имеют ли рецензенты предубеждение против авторов из определенной страны, расы или пола? Хотя основное внимание уделялось рецензентам, существует очень мало дискуссий о предвзятости редакторов. Редакторы, в конце концов, имеют последнее слово.
Рецензирование является частью цикла академических исследований, и очевидно, что в этом процессе есть предвзятость. Предвзятость рецензента часто затрагивает женщин, меньшинства и исследователей из непрестижных учреждений. Чтобы попытаться бороться с этой проблемой, журналы используют слепое рецензирование. Тем не менее, одинарная слепая рецензия дает преимущество известным авторам. Двойное слепое рецензирование может фактически не устранить предвзятость, поэтому исследователи считают, что лучше перейти к открытому рецензированию.
Каково ваше мнение относительно рецензирования, как одинарного слепого, так и двойного слепого? Как вы думаете, двойное слепое рецензирование лучше, чем одинарное слепое? Или вы думаете, что пришло время перейти к открытому рецензированию? Пожалуйста, поделитесь своими мыслями с нами в разделе комментариев ниже.
Научное рецензирование: его виды и этапы
Научное рецензирование: его виды и этапы
Научное рецензирование: его виды и этапы
В научной работе каждого ученого приходит момент, когда его работу отдают на рецензирование другим исследователям. Экспертное рассмотрение способствует определению качества материала, установлению способа и метода его оценки и увеличению контактов в научном сообществе.
Содержание:
Несмотря на то, что многие выступают против рецензирования, оно остается самым действенным способом оценить исследовательскую работу на сегодня. Существует несколько видов рецензирования, давайте рассмотрим самые важные.
Single-blind review – одностороннее «слепое»
Этот вид рецензирования считается самым распространенным. В этом случае имя рецензента скрыто от ученого. Такой способ оценки помогает принять независимое решение, без всякого давления со стороны автора. Но некоторые ученые выражают опасения, что рецензенты, которые работают в той же области, что и они, могут специально задерживать процесс предоставления обзора работы, дискредитировать автора или вовсе присвоить себе информацию и выдать ее под своим именем.
Double-blind review – двойное «слепое»
В случае этого рассмотрения работы анонимности придерживаются автор и рецензент. Такое положение вещей позволяет сохранить честность и исключить любые предубеждения. Здесь совсем не будет играть роль биография автора, его место жительства или предыдущие работы. Научные статьи рассматривают независимо от авторитета ученого. Многие исследователи выступают именно за этот вид рецензирования.
Но есть небольшой нюанс. Если автор работает в достаточно узко специализированной теме, рецензенты могут узнать его по специфике предмета исследования или по предыдущим работам.
Open review – открытое рецензирование
Во время такого рассмотрения автор и рецензент знают друг друга. Кроме этого, в Интернете размещают всю историю рецензирования. Многие в научном сообществе считают, что именно такое рецензирование является честным и может обезопасить автора и эксперта. Открытое рецензирование помогает избежать каких-либо предпосылок и жестоких комментариев, а также плагиата. Рецензент более тактично и сознательно относится к работе, скорее ее выполняет и предоставляет честную рецензию.
Но есть и другое мнение. Некоторые ученые считают, что открытое рассмотрение может испугать эксперта, и тот напишет рецензию без особой критики или минимизирует ее количество. Младшие рецензенты, из-за страха навредить своей карьере, могут отказаться сильно критиковать работу более опытного и авторитетного ученого.
More transparent peer review – прозрачное рецензирование
Со временем все больше растет потребность принимать более открытые модели рецензирования, и именно прозрачое рассмотрение является инновационным способом, помогает объяснить те или иные решения. Читатели могут получить доступ к истории экспертного рассмотрения, отчетам, заключениям редакторов и ответам авторов. По комментариям рецензентов можно понять, насколько глубокая работа была проведена, на что именно опирались специалисты, нивелируя возможности возникновения недостоверной информации.
Collaborative review – совместное рассмотрение
Этот способ включает большой спектр подходов, во время которого сотрудничает команда ученых. Двое и больше рецензентов могут работать вместе над работой и в конце предоставлять совместный отчет. Такой подход предполагает сотрудничество с автором для того, чтобы улучшить статью, пока она не будет соответствовать общим критериям. Совместное рассмотрение более конструктивное, так как устраняет барьеры, с которыми сталкивается ученые и эксперты.
Post publication review – публикация рецензии
Рецензия сохраняется или появляется после публикации. Post publication review может иметь вид страницы дискуссионного форума с комментариями вместе с опубликованной статьей. Этот вид рецензирования не исключает другие виды экспертного рассмотрения и идет больше как дополнение к основному способу.
Процесс рецензирования и его этапы
Закажите публикацию научной статьи в престижном издании прямо сейчас