Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке - Стюарт Ричи

Improve School Lunches? Arch Pediatr Adolesc Med. 2012; 166 (10): 967–968. JAMA Pediatrics. 21 Sept. 2017. Ошибки впервые были описаны здесь: Brown N. J. L. A Different Set of Problems in an Article from the Cornell Food and Brand Lab. Nick Brown’s Blog. 15 Feb. 2017. Другой критик Вонсинка составил досье со всеми статьями, где обнаружились ошибки: Van der Zee T. The Wansink Dossier: An Overview. The Skeptical Scientist. 21 March 2017.

352

Помимо тех восемнадцати отозванных статей еще и многие другие были исправлены или обзавелись “выражением озабоченности”. Их можно найти по имени автора (Brian Wansink) в надежной базе данных Retraction Watch: http://retractiondatabase.org. Особенно досталось статье про наклейки с Элмо: после того как она была отозвана, редакторы журнала позволили Вонсинку опубликовать исправленную версию, но едва она вышла, как в ней нашли другую серьезную ошибку (там указывалось, что детям, участвовавшим в исследовании, было от восьми до одиннадцати лет, а на самом деле их возраст был от трех до пяти). Эта статья-замена была отозвана – и тем самым стала единственной из известных мне научных публикаций, приговоренной к “высшей мере наказания в науке” дважды. Wansink B. et al. Notice of Retraction. Wansink B, Just DR, Payne CR. Can Branding Improve School Lunches? Arch Pediatr Adolesc Med. 2012; 166 (10): 967–968. JAMA Pediatrics. 171, no. 12 (2017): 1230.

353

В ходе расследования, проведенного Корнеллским университетом, выяснилось, что Вонсинк “нарушал академические нормы в своей научной работе и преподавательской деятельности, в том числе заявлял неверные данные исследований, использовал сомнительные статистические методы, не документировал и не хранил результаты исследований должным образом и указывал ненадлежащее авторство”. Kotlikoff M. Provost Issues Statement on Wansink Academic Misconduct Investigation. Cornell Chronicle. 20 Sept. 2018.

354

Lee S. M. Here’s How Cornell Scientist Brian Wansink Turned Shoddy Data into Viral Studies about How We Eat. BuzzFeed News. 25 Feb. 2018.

355

Увы и ах, во многих случаях, делая эти свои запросы, они вообще неделикатны, как свидетельствуют исследователи из проекта Bullied into Bad Science (“Принуждение к некорректной науке”): http://bulliedintobadscience.org.

356

Carney D. R. My Position on “Power Poses”. 26 Sept. 2016. http://faculty.haas.berkeley.edu/dana_carney/pdf_My%20position%20on%20power%20poses.pdf

357

https://twitter.com/nicebread303/status/780395235268501504; https://twitter.com/PeteEtchells/status/780425109077106692; https://twitter.com/cragcrest/status/780447545126293504; https://twitter.com/timothycbates/status/780386384276230144; https://twitter.com/MichelleNMeyer/status/780437722393698305; https://twitter.com/eblissmoreau/status/780594280377176064.

358

Цитируется по: Singal J., Dahl M. Here Is Amy Cuddy’s Response to Critiques of Her Power-Posing Research. The Cut. 30 Sept. 2016.

359

John L. K. et al. Measuring the Prevalence of Questionable Research Practices with Incentives for Truth Telling. Psychological Science. 23, no. 5 (2012): 524–32. Я привожу значения, находящиеся посередине между “уровнем самостоятельного признания” в контрольной группе и в экспериментальной (см. табл. 1 в этой статье), где людям обещали, что если они скажут правду, то организаторы пожертвуют деньги на благотворительность, так что там уровень признания в нечестных методах проведения исследований оказался выше. В этом исследовании участвовали психологи из США, но похожие результаты были получены и в Италии: Agnoli F. et al. Questionable Research Practices among Italian Research Psychologists. PLOS ONE. 12, no. 3 (2017): e0172792. См. также опрос, проведенный в Германии, в котором оспорены некоторые формулировки вопросов из исходного американского исследования: Fiedler K., Schwarz N. Questionable Research Practices Revisited. Social Psychological and Personality Science. 7, no. 1 (2016): 45–52.

360

Wang M. Q. et al. Identifying Bioethical Issues in Biostatistical Consulting: Findings from a US National Pilot Survey of Biostatisticians. BMJ Open. 7, no. 11 (2017): e018491. Сложив соответствующие числа, я подсчитал общий процент статистиков, сообщивших о том, что им поступали такие просьбы от одного до девяти раз либо более десяти раз за последние пять лет.

361

Necker S. Scientific Misbehavior in Economics. Research Policy. 43, no. 10 (2014): 1747–59. Поразительно, но в этом же опросе 2 % экономистов еще признались, что “принимали или предлагали секс в обмен на (со)авторство, доступ к данным или поддержку конкретных лиц”.

362

Masicampo E. J., Lalande D. R. A Peculiar Prevalence of p Values Just Below.05. Quarterly Journal of Experimental Psychology. 65, no. 11 (2012): 2271–9. См. также Barnett A. G., Wren J. D. Examination of CIs in Health and Medical Journals from 1976 to 2019: An Observational Study. BMJ Open. 9, no. 11 (2019): e032506. Здесь тот же вопрос изучался с помощью доверительных интервалов, еще одного статистического понятия, которое по сути дает ту же информацию, что и p-значение. Между прочим, схожая ситуация наблюдается на диаграммах, отражающих результаты школьных экзаменов, где для значений чуть выше установленного проходного балла характерен резкий скачок: доброжелательные учителя добавили проваливающимся детям как раз столько баллов, сколько было необходимо, чтобы те экзамен сдали. См. Dubner S. J. Another Case of Teacher Cheating, or Is It Just Altruism? Freakonomics. 7 July 2011.

363

Silberzahn R. et al. Many Analysts, One Data Set: Making Transparent How Variations in Analytic Choices Affect Results. Advances in Methods and Practices in Psychological Science. 1, no. 3 (2018): 337–56; Landy J. F. et al. Crowdsourcing Hypothesis Tests: Making Transparent How Design Choices Shape Research Results. Psychological Bulletin. 16 Jan. 2020.

364

Yarkoni T., Westfall J. Choosing Prediction Over Explanation in Psychology: Lessons from Machine Learning. Perspectives on Psychological Science. 12, no. 6 (2017): 1100–22.

365

Gelman A., Loken E. The Garden of Forking Paths: Why Multiple Comparisons Can Be a Problem, Even When There Is No “Fishing Expedition” or “p-Hacking” and the Research Hypothesis Was Posited Ahead of Time. 4 Nov. 2013; Borges J. L. The Garden of Forking Paths // Labyrinths. New York: New Directions, 1964. [Борхес Х. Л. Сад расходящихся тропок // Собр. соч. в 3-х т. Т. 1. М.: Полярис, 1994.]

366

Эта формулировка проблемы с p-хакингом взята из работы Yarkoni T., Westfall J. Choosing Prediction Over Explanation in Psychology, где авторы называют p-хакинг “методической переподгонкой”.

367

Giner-Sorolla R. Science or Art? How Aesthetic Standards Grease the Way Through the Publication Bottleneck but Undermine Science. Perspectives on Psychological Science. 7, no. 6 (2012): 567–71.

368