Наукообразная чушь. Разоблачение мошенничества, предвзятости, недобросовестности и хайпа в науке - Стюарт Ричи

частью серьезной дискуссии об уровне значимости. Lakens D. et al. Justify Your Alpha. Nature Human Behaviour. 2, no. 3 (2018): 168–71.

316

Spiegelhalter D. Explaining 5-Sigma for the Higgs: How Well Did They Do? Understanding Uncertainty. 8 July 2012.

317

Dawkins R. The Tyranny of the Discontinuous Mind. New Statesman. 19 Dec. 2011. Обсуждение этого вопроса также можно найти в прекрасной книге Докинза: Dawkins R., Wong Y. The Ancestor’s Tale: A Pilgrimage to the Dawn of Life. London: Weidenfeld & Nicolson, 2016. [Докинз Р. Рассказ предка. Паломничество к истокам жизни. М.: Corpus, 2015.]

318

Влиянию вакцинации на снижение смертности от болезни был посвящен самый первый в истории метаанализ по медицинской теме – его провел статистик Карл Пирсон в 1904 году (для брюшного тифа), хотя методика еще не получила названия “метаанализ”. Pearson K. Report on Certain Enteric Fever Inoculation Statistics. BMJ. 2, no. 2288 (1904): 1243–6. Познавательная история и обзор метаанализа изложены здесь: Gurevitch J. et al. Meta-Analysis and the Science of Research Synthesis. Nature. 555, no. 7695 (2018): 175–82. Изменение климата: Challinor A. J. et al. A Meta-Analysis of Crop Yield under Climate Change and Adaptation. Nature Climate Change. 4, no. 4 (2014): 287–91.

319

Так будет, если все остальные условия совершенно одинаковы. Однако на точность результатов исследования помимо размера выборки влияет еще много других факторов, например качество измерений. Хотя размер выборки обычно служит неплохим показателем, сейчас большинство специалистов по метаанализу используют более непосредственную меру точности результата – так называемое стандартное отклонение (стандартную ошибку среднего). Именно его чаще всего откладывают по вертикальной оси на воронкообразных диаграммах.

320

При вычислении p-значений более существенные флуктуации небольших исследований учитываются. Если бы в действительности между мужчинами и женщинами в Шотландии различия в росте не было, то маловероятно было бы обнаружить в выборке столь значительную разницу, как десять сантиметров, однако это все равно могло бы получиться случайно при измерениях в маленькой выборке. Напомню, что p-значение для разницы в десять сантиметров в нашей выборке из десяти мужчин и десяти женщин равнялось 0,03. Вероятность обнаружить такую же разницу в десять сантиметров в выборке из тысячи мужчин и тысячи женщин была бы чрезвычайно мала, так что p-значение было бы мизерным (скажем, 0,0000001 или меньше). В таком случае у нас имелось бы более надежное свидетельство того, что в популяции действительно есть “истинный” эффект. Этот пример показывает нам, почему p-значение не является мерой величины или важности результата: одинаковая величина эффекта может давать разные p-значения – в зависимости от размера выборки.

321

Shanks D. R. et al. Romance, Risk, and Replication: Can Consumer Choices and Risk-Taking Be Primed by Mating Motives? Journal of Experimental Psychology: General. 144, no. 6 (2015): e142–58. Другой пример, на сей раз касающийся денежного прайминга, со сходными результатами: Lodder P. et al. A Comprehensive Meta-Analysis of Money Priming. Journal of Experimental Psychology: General. 148, no. 4 (2019): 688–712.

322

Kyzas P. A. et al. Almost All Articles on Cancer Prognostic Markers Report Statistically Significant Results. European Journal of Cancer. 43, no. 17 (2007): 2559–79.

323

Tzoulaki I. et al. Bias in Associations of Emerging Biomarkers with Cardiovascular Disease. JAMA Internal Medicine. 173, no. 8 (2013): 664.

324

См. Turner E. H. et al. Selective Publication of Antidepressant Trials and Its Influence on Apparent Efficacy. New England Journal of Medicine. 358, no. 3 (2008): 252–60. На момент написания этих строк самый последний метаанализ, посвященный антидепрессантам, действительно показал (умеренное) влияние на симптомы депрессии: Cipriani A. et al. Comparative Efficacy and Acceptability of 21 Antidepressant Drugs for the Acute Treatment of Adults with Major Depressive Disorder: A Systematic Review and Network Meta-Analysis. Lancet. 391, no. 10128 (2018): 1357–66.

325

Onishi A., Furukawa T. A. Publication Bias Is Underreported in Systematic Reviews Published in High-Impact-Factor Journals: Metaepidemiologic Study. Journal of Clinical Epidemiology. 67, no. 12 (2014): 1320–6.

326

Herrmann D. et al. Statistical Controversies in Clinical Research: Publication Bias Evaluations Are Not Routinely Conducted in Clinical Oncology Systematic Reviews. Annals of Oncology. 28, no. 5 (2017): 931–7.

327

Есть целый ряд методов, которые позволяют внести поправку к величине эффекта, если в своем метаанализе вы обнаружили признаки публикационного смещения. Я всегда применяю их с легкой тревогой, поскольку по сути это предположения (о том, насколько вам нужно уменьшить величину эффекта), основанные на предположениях (насколько публикационное смещение повлияло тут на результат). Подробнее см., например: Carter E. C. et al. Correcting for Bias in Psychology: A Comparison of Meta-Analytic Methods. Advances in Methods and Practices in Psychological Science. 2, no. 2 (2019): 115–44.

328

Cressey D. Tool for Detecting Publication Bias Goes under Spotlight. Nature. 31 March 2017; Morey R. Asymmetric Funnel Plots without Publication Bias. BayesFactor. 9 Jan. 2016.

329

Franco A. et al. Publication Bias in the Social Sciences: Unlocking the File Drawer. Science. 345, no. 6203 (2014): 1502–5.

330

www.tessexperiments.org. Бонус этой программы в том, что все заявленные исследования проходят рецензирование с учетом специальных критериев, поэтому те, что в итоге отбираются и воплощаются, все высокого качества и характеризуются высокой статистической мощностью (обсуждение статистической мощности и ее значения см. в пятой главе).

331

Эти значения вычислены по таблице 2 из статьи Franco A. et al. Publication Bias in the Social Sciences: числа из столбца “Опубликованы” были поделены на общее количество статей из нижней строки.

332

Все цитаты приводятся по дополнительным материалам (таблице S6) к статье Franco A. et al. Publication Bias in the Social Sciences.

333

Вывод, сделанный в статье Франко о публикационном смещении, находит подтверждение здесь: Dwan K. et al. Systematic Review of the Empirical Evidence of Study Publication Bias and Outcome Reporting Bias. PLOS ONE. 3, no. 8 (2008): e3081. Другая классическая статья на эту тему: Chan A.-W. et al. Empirical Evidence for Selective Reporting