Системы научного цитирования – это невидимый для широкой публики механизм, играющий ключевую роль в карьере ученого. Количество упоминаний научных работ исследователя в других трудах считается показателем их значимости. Чем больше цитирований, тем выше ценность исследования и, как следствие, шансы на продвижение по карьерной лестнице и получение премий.
Для оценки значимости ученого и его работ применяют индекс Хирша – показатель, отражающий количество работ и число их цитирований. Но насколько объективны современные системы оценки цитирования?
Риз Ричардсон, аспирант кафедры метанауки и вычислительной биологии Северо-Западного университета в США, и Ник Уайз, специалист по выявлению нарушений в научных исследованиях, решили провести забавный эксперимент, чтобы разобраться с объективностью систем цитирования.
РЕКЛАМА – ПРОДОЛЖЕНИЕ НИЖЕ
Они создали фейковый профиль ученого на ResearchGate, популярной научно-информационной социальной сети, и разместили его «исследования». Но есть нюанс. Ученого зовут Ларри, и он – кот.
Исследователи опубликовали от имени Ларри Ричардсона 12 статей по математике и «процитировали» их от имени 12 вымышленных авторов. В результате у Ларри появился индекс Хирша, равный 12.
Интересно, что Google Scholar не смог отличить фейковые исследования Ларри, признав лишь одну статью поддельной. В результате у кота осталось 11 «научных» работ и 132 цитирования. Несмотря на то, что Google Scholar удалил фальшивые публикации через неделю, профиль кота-ученого до сих пор доступен в поисковой системе.
Авторы эксперимента рассказали, что их вдохновила появившаяся недавно тенденция искусственного повышения цитируемости и индекса Хирша у ученых. Некоторые сервисы предлагают за деньги разместить «статью» с ссылками на работы научных деятелей на платформе ResearchGate, что поможет им «искусственно» повысить индекс.Идея провести эксперимент с «котом-ученым» возникла у исследователей именно из-за этих сервисов.
К слову, Уайз и Ричардсон не первые, кто проводил такой эксперимент. В 2010 году специалист по информатике Сирил Лаббе разместил в Google Scholar работы вымышленного учёного Ike Antkare (созвучно с английским «I can’t care» — «мне все равно»), который в итоге стал шестым по цитируемости в системе Google Scholar.
Эти эксперименты доказывают, что современные системы оценки научных трудов и их авторов несовершенны. Ник Уайз считает, что невозможно создать метрику, которую нельзя обмануть. Возможно, общепринятые системы оценки устарели и требуют пересмотра, а может быть, от них вовсе следует отказаться.