утром он открывает файл с разделом “обсуждение”. выборка: сорок семь человек. двадцать четыре в экспериментальной, двадцать три в контрольной, один выбыл после второго измерения, он решил не менять строку с n в заголовке, там написано 47, это и есть 47, просто с историей внутри. изначально было сорок четыре человека и p=0.048, значимо. один рецензент попросил добавить участников — правильное требование, он добавил троих, потратил на это четыре месяца и кусок гранта. трое новых эффекта почти не показали. p вырос до 0.051. формально незначимо. порог принят на уровне 0.05, они пересекли его не в ту сторону, один шаг лишний. в разделе “обсуждение” можно написать “наши результаты указывают на тенденцию, требующую дальнейшего изучения на более широких выборках” и это будет честно в пределах жанра.

он знает этот жанр хорошо. знает что одно исследование ничего не доказывает, что нужна репликация на разных популяциях, что нужен мета-анализ с тысячей участников, а не сорока семью, что публикационное смещение устроено следующим образом: журналы охотнее берут значимые результаты, незначимые лежат в ящиках столов потому что “мы не нашли эффекта” трудно продать редактору и ещё труднее обосновать как следующий шаг в гранте. знает что когда журналист напишет про эту статью, если напишет, заголовок будет: “учёные выяснили: X влияет на Y”, хотя в тексте написано “указывают на тенденцию”. это нормальное устройство цепочки. журналист пишет для читателя, читатель хочет ответ, а не доверительный интервал. доверительный интервал это для другого разговора, для того разговора нужен другой читатель. он понимает логику каждого звена. он не осуждает никого. просто у каждого звена своя потеря точности, и к тому времени как информация доходит до человека с телефоном, от оригинального “указывает на тенденцию” остаётся цифра и глагол “доказали”.

он пишет: “наши результаты указывают на тенденцию, требующую дальнейшего изучения на более широких выборках”. нажимает сохранить. отправляет соавтору на финальную правку.

карта готова.

он знает что это карта. знает что карта не есть территория, что сорок семь человек это не человечество, что тенденция это не закон, что через пять лет возможно кто-то с выборкой в пятьсот опровергнет это или подтвердит или обнаружит что эффект есть только в одной подгруппе. он провёл с этими данными восемь месяцев, видел их с изнанки, знает где швы, где предположения, где неизбежные упрощения которые делает любое исследование чтобы вообще быть исследованием. это нормально. это и есть наука. она движется так, медленно, через ошибки и пересмотр, и в этом её честность: она признаёт ошибки в следующей статье, а потом в следующей. через несколько месяцев карта выйдет в журнале. потом, может быть, её процитируют в обзоре. потом, может быть, журналист напишет о ней три абзаца. и потом кто-то прочитает заголовок утром, между двумя другими уведомлениями, и что-то с этим сделает. он не знает что именно. просто понимает как устроена цепочка, потому что сидит в одном из её звеньев.

он встаёт. наливает кофе. смотрит в окно.

в обед смотрит телефон. в ленте: “учёные установили: пребывание на утреннем солнце в первые два часа после пробуждения повышает уровень дофамина на 34% и улучшает качество ночного сна.” другой университет, другая область, что-то про циркадные ритмы и фотобиологию. он видит заголовок мельком, между двумя другими уведомлениями, большой палец уже готов листнуть дальше, но останавливается на числе.

34%.

точная цифра работает иначе чем приблизительная. “улучшает дофамин” это мнение, “повышает на 34%” это измерение. разница в грамматике, не в содержании, но голова слышит её хорошо: цифра значит что кто-то считал, а значит это настоящее. он знает этот приём изнутри. в его собственных статьях цифры тоже выглядят точнее чем они есть, потому что ты округляешь до двух знаков после запятой и читатель видит строгость там где её ровно столько сколько позволяет n=47 и контрольная группа из двадцати трёх человек. цифра убедительна не потому что правдивее. цифра убедительна потому что выглядит законченной. точка в конце предложения. он знает про точные цифры, знает про первичные данные, про доверительный интервал за которым стоит любое число в любом заголовке.

делает заметку в телефоне: выходить до девяти, первые два часа.

после обеда коллега упоминает новое исследование про интервальное голодание. видела в каком-то издании, кажется свежее. он говорит: да, слышал что-то, кажется убедительно. он не слышал. точнее, слышал название от другого человека неделю назад в похожем разговоре за похожим кофе. ему кажется что несколько независимых источников это уже сигнал, несколько людей говорят об одном, значит что-то в этом есть. или это один пресс-релиз прошедший через восемь редакций и осевший в восьми разных лентах. он не проверяет. мог бы. это заняло бы минуты. он делает это профессионально. но сейчас другой разговор.

вечером идёт домой через парк. дольше обычного, зато больше открытого неба.

идёт и думает про 34%. пытается прикинуть что это значит для него конкретно, в его теле, в его утро. дофамин это нейромедиатор, понятно, он это читал в смежных областях, понимает общий принцип. но 34% от чего именно. от его базового уровня до завтрака. и каков его базовый уровень. у него нет этих данных, у него никогда не было прибора который измеряет дофамин, 34% это число без числителя и знаменателя, просто разница между двумя точками которых он не видел и не может увидеть. и тем не менее в ленте это выглядело как факт о мире, как вещь которая существует независимо от того знает он её или нет, как что-то что утреннее солнце делает с любым человеком который под него выходит. он поменял маршрут домой потому что в мире есть число 34%, которое существует только в чужой статье, в чужой выборке, у людей не похожих на него, в условиях которых у него нет и не будет.

солнце уже низкое. он смотрит на него. думает: надо завтра выйти пораньше.

дома открывает телефон. хочет найти исходную статью. у него есть доступы к нескольким базам, это несложно. находит. она за пейволлом. читает абстракт.

n=31. здоровые молодые мужчины, 20-25 лет. контрольная группа: то же время в помещении без окон. “наши результаты предполагают…” он закрывает.

n=31.

он думает про это. тридцать один человек это меньше его сорока семи, а его сорок семь это уже мало, именно поэтому рецензент просил добавить, именно поэтому он потратил четыре месяца на трёх дополнительных участников которые сдвинули p на тысячную вверх и потом вниз. тридцать один это пилотное. достаточно чтобы выдвинуть гипотезу и получить грант на нормальное исследование. недостаточно чтобы менять маршрут домой. и тем не менее, он уже написал заметку.

думает: ну, надо смотреть на мета-анализы. одно исследование ничего не доказывает. засыпает.

утром встаёт на двадцать минут раньше. выходит до девяти.

на улице прохладно, апрель, солнце не прогрело воздух, он щурится. птицы. запах асфальта после ночи. двор тихий, меньше людей чем обычно, кто-то выгуливает собаку у дальней скамейки, она тянет в сторону кустов, хозяин тянет обратно, оба идут медленно.

думает: дофамин.

и сразу следом думает о том что не умеет отличить ощущение дофамина от ощущения хорошего утра. субъективно это одно и то же ощущение, у него нет контрольной группы, нет параллельной версии себя которая не вышла, с которой можно сравнить. он сам себе и экспериментальный, и контрольный, и оба условия несовместны одновременно. это называется проблема контрфактуала, он работает с этим аргументом каждый день, он знает как она формулируется и что с ней делать внутри протокола.

солнце касается лица. это приятно. это факт.

может быть это дофамин. может быть это просто апрель.

он не проверяет разницу. садится на скамейку у фонтана.

несколько месяцев назад у него вышла другая статья. корреляция, чуть другая область, n=112, уже нормально, p=0.031, значимо. редактор небольшого научно-популярного издания попросил прокомментировать. он сказал: интересная корреляция, но нужна осторожность с выводами, одно исследование не решает вопрос. редактор написал текст. вышел заголовок: “учёные объяснили почему люди не меняются.” он прочитал. поморщился. подумал: ну, основная идея там в принципе есть. переслал двум коллегам.

один ответил: видел, убедительно. другой написал: пересылаю жене, она как раз об этом говорила.

он не знает кто читал дальше. не знает как они прочитали этот заголовок, что с ним сделали, куда он лёг, что изменилось в их маршруте или режиме или списке в телефоне. он создал карту. карта ушла в мир. кто-то смотрит на неё и видит территорию.

он сидит на скамейке и думает: это то же самое что он сделал вчера с исследованием про утреннее солнце. прочитал чужую карту и поменял маршрут домой. только он хотя бы открыл абстракт. большинство людей которые прочитают его заголовок абстракт не откроют. в этом смысле он оказался честнее с чужой работой чем другие будут с его. в другом смысле он сделал то же самое.

он думает: в своей области он знает как делается колбаса. это значит что он ест её с прищуром, понимает что за “улучшенной рецептурой” может стоять всё что угодно, что срок годности это договорённость, что состав на этикетке не полный. в своей области он читает состав. иногда кладёт обратно на полку.

в чужой просто ест.

это не невежество и не лень. у него есть одна область, он вложил в неё двадцать лет, он умеет в ней работать с данными так чтобы не обмануться очевидным. в восьми других он читатель заголовков. как все. включая специалистов из этих восьми областей, которые в его области тоже читают заголовки и тоже делают заметки в телефоне.

все знают как делается колбаса в своём цеху. никто не проверяет её в чужом.

это не проблема. это устройство знания. устроено так: каждый видит изнутри своё, снаружи чужого видно хуже, иначе нельзя. специализация это цена за глубину. человек который проверяет всё не успевает ничего, человек который не проверяет ничего живёт по заголовкам как по закону природы. между ними узкая полоска, она называется своя область, и на ней он стоит. за её краями: доверие. выборочное, непроверенное, по косвенным признакам, уважаемый журнал, точная цифра, несколько источников. эвристики. они чаще работают чем нет. они иногда приводят к n=31 и заметке в телефоне.

он думает иногда: если делать это достаточно долго, лет тридцать или сорок, список привычек накопится. некоторые из них окажутся правильными по правильным причинам. некоторые правильными по неправильным. некоторые просто неправильными. и снаружи это всё будет выглядеть одинаково: режим, принципы, то как он живёт. и сам он не будет знать какая привычка из какой категории, потому что для этого нужна та самая контрольная группа которой никогда не существует. ему иногда приходит в голову образ: человек, который лет через сорок сидит за завтраком и читает очередное опровержение очередного факта которым жил двадцать лет, и думает: ну надо же. и делает заметку. и пьёт чай. потому что кофе убрал когда-то давно когда врач сказал убрать, и привычка осталась, и поезд ушёл. этот человек не дурак. он просто следовал лучшим доступным данным. каждый раз. это и есть единственное что можно делать.

встаёт со скамейки. идёт дальше.

думает: и ещё одно. он написал “наши результаты указывают на тенденцию”. это честно. это точно. это всё что данные позволяют сказать. через несколько месяцев статья выйдет в журнале. потом кто-нибудь напишет о ней заметку. заголовок. он не знает что там будет. не знает кто прочитает. не знает какую заметку тот человек сделает в телефоне, какой маршрут изменит, какую привычку приобретёт и когда забудет откуда она взялась. он не может на это повлиять. карта ушла. дальше у неё своя жизнь.

где-то прямо сейчас кто-то читает чужой заголовок и меняет маршрут.

может быть это разумно. может быть утреннее солнце действительно что-то делает. n=31 это мало, но направление может быть верным. пилотные исследования часто указывают правильно, просто преувеличивают размер эффекта. даже если настоящее число в три раза меньше 34%, одиннадцать процентов это не ноль.

он приходит на работу. открывает ноутбук. письмо от соавтора: небольшие правки обсуждения, стилистические. он просматривает, соглашается, отправляет в журнал.

в ленте уведомление. новый мета-анализ по циркадным ритмам, сорок три исследования. он открывает.

читает четыре минуты. закрывает. делает заметку: свет утром, направление верное, но размер эффекта в отдельных исследованиях завышен, мета-анализ осторожнее. ниже: выборки в большинстве первичных исследований маленькие.

смотрит на экран. думает: сегодня он отправил карту в журнал. через несколько месяцев карта выйдет. через год, может быть, кто-то напишет о ней три предложения. через два года кто-то прочитает эти три предложения утром и изменит свой маршрут домой. и этот кто-то не будет знать что за заголовком стоит p=0.051 и n=47, сорок четыре плюс трое которые эффекта не показали и сдвинули результат за порог. и это нормально. это устроено так. не потому что кто-то плохой. просто у каждого звена своя работа.

завтра встанет в то же время.

не потому что дофамин. потому что утро хорошее, это он знает точно. птицы. прохладно. двор тихий до первых людей.

может быть это одно и то же.