Серия «Критическое мышление»

Интуитивный ответ – 1/2. И, надо сказать, он же правильный. Несмотря на то, что кому-то более искушённому в теорвере, чем простой обыватель, покажется, что 1/3. Ведь изначальная вероятность, что у него два мальчика – 1/4, а вариант с двумя девочками уже отпал. Но нет. Ведь в противном случае вероятность разнополых детей была бы 2/3 вне зависимости от того, встретили ли мы мистера Смита с мальчиком или девочкой.

Наверное, излишне будет написать, что искусственный интеллект решает подобные задачи исходя из того, что он читал сам. Автор решил проверить это на примере задачи с тремя картами. Представьте, что у нас три карты в коробке, одна из которых с обеих сторон красная, другая – синяя, а третья с одной стороны красная, а с другой синяя (RR, BB и RB). Мы взяли из коробки одну карту, и видим, что одна сторона у неё красная. Какова вероятность того, что другая тоже красная? Можно подумать, что 1/2, но на самом деле будет 2/3. Потому что всего у нас три красных стороны, и две из них расположены на полностью красной карте RR.

Так вот, нейронка правильно решает эту задачу в классическом виде. Но что будет, если изменить условие задачи, заменив в ней красно-синюю карту на красно-зелёную (RR, BB и RG), и спросив, какова будет вероятность, что обратная сторона красной карты окажется зелёной? Правильный ответ – 1/3, поскольку из трёх равновероятных красных сторон только одна имеет на обороте зелёную. Гуглевский бард выдал 2/3, а ChatGPT написал 472 слова, заключив о том, что вероятность вообще нулевая.

Когда говорят о вероятностях, речь часто идёт о случайных событиях. Однако роль независимого случая оказывается нередко преувеличенной. Часто всплывают скрытые зависимости. Если мы бросим две игральные кости, то вероятность того, что выпадут две единицы будет равна 1/6 * 1/6 = 1/36. И это верно, потому что это независимые события. Но если, например, мы захотим вычислить вероятность того, что случайно выбранный американец окажется старше 90 лет (P=0,009) и притом женщиной (P=0,5), то она окажется равной не 0,009*0,5, а 0,009*0,67. Почему? Потому что в пожилом возрасте женщины встречаются чаще.

Многие слышали выражение, что играть на бирже – всё равно, что играть в казино. И даже Нобелевский лауреат Пол Самуэльсон выразился на этот счёт:

Запишите эти 1800-процентные изменения ежемесячных цен акций на таком же количестве листков бумаги. Положите их в большую шляпу. Энергично потрясите. Затем случайным образом вытяните пару тысяч новых билетов, каждый раз заменяя предыдущий и энергично встряхивая. Таким образом, мы сможем создать новые реалистично репрезентативные возможные варианты развития будущих фондовых рынков.

Наш автор решил, что неплохо бы проверить, и сложил ежемесячный доход акций S&P за сотню лет в память компьютера и на базе этих данных сгенерировал случайным образом курсы на 25 лет вперёд. И так – миллион раз. 15% всех симуляций оказались слишком экстремальными, то есть не вписывались в диапазон той прошлой сотни лет.

Неизбежная проблема состоит в том, что цена акции на бирже – это не метание игральной кости. Она отражает в себе дивиденды и прибыли компании. Она не будет падать бесконечно долго: найдётся инвестор, который сочтёт новую цену неотразимой.

Эти рассуждения не являются очень уж академичными и праздными. За ними стоит риск реальных последствий. Исходя из «случайного» поведения цен акций на бирже некоторые аналитики советовали людям избавляться от своих акций после обвала биржи в 2008 году:

Если у вас нет задатков азартного игрока, торгующего по-крупному, немедленно избавьтесь от акций и вложите свои пенсионные накопления в государственные облигации с защитой от инфляции и аналогичные инструменты. Эти инвестиции защищены от катастроф, подобных тем, что пережил Уолл-стрит в прошлом году.

9 марта 2009 было достигнуто дно, после чего акции пошли вверх, превзойдя тогдашний курс в несколько раз. Потому что курс акции зависит от дохода компании. Будет доход – будет и рост курса.

Однако эта логика не работает для курса крипты. На чём основаны предсказания непрестанного роста биткойна? На прошлом развитии? Но ребята, если он продолжит расти, как рос когда-то, то его курс должен утраиваться каждые два года. Национальное бюро экономических исследований рассчитало на основе прошлых данных, что курс биткойна может рухнет до нуля в любой день с вероятностью в 0,4%. Пузырю биткойна суждено, конечно, когда-то лопнуть, но эти 0,4% дадут 99,9% уже за пять лет, и эти пять лет уже прошли с момента выхода в свет этого исследования. Как видно, даже крипта не работает по закону случая.

Если рассказывать о вероятностях, то не обойтись без условных вероятностей. Если кому-то придёт в голову идея устроить тестирование на наркотики на рабочем месте для, скажем, работников службы поддержки, то автор уверяет нас, что это нехорошая идея. Потому что тесты имеют свойство ошибаться. Допустим, что тест на марихуану сработает в 95% случаев. Попробуем задать вопрос наоборот: какова вероятность того, что если у кого-нибудь протестированных колег обнаружился тест сработает, то он курил марихуану? Всё зависит от цифр. Чем больше народу тестируешь – тем больше ошибок. Представим себе, что мы тестируем 10 тысяч человек, из которых 500 покуривают травку. Из этих 500 тест выявит 500*0,95=475 человек. И ещё 9500*0,05=475 выявятся из остальных 9500 человек через ложнопозитивный тест. Получается, что вероятность того, что если тест сработал, то человек на самом деле «дунул» накануне, составляет всего лишь 50%.

Похожая проблематика возникает при тестировании на очень редкую болезнь: пусть тест очень точный, но таких больных так мало, что ложнопозитивные срабатывания большого числа проводимых тестов перевесят. Они становятся практически неизбежными. Если одного и того же здорового человека подвергнуть тестированию на разные болезни с пятипроцентным шансом ложнопозитивного срабатывания, то уже после десятка тестов насобираем 40%. Увеличим количество тестов – и неизбежно приблизимся к ста процентам.

Курьёзной иллюстрацией этого принципа может служить исследование студента Крейга Беннетта, который делал МРТ у дохлой лососи. У него получилось! Ведь, как известно, магнитно-резонансная томография характеризуется высоким уровнем шумов, которые можно интерпретировать как значимый отклик. За свежий взгляд и новаторство Крейгу присудили Шнобелевскую премию.

Проблемой ложнопозитивных мы досыта наелись в пандемию. Не так давно я рассказывал в обзоре книги Век диагноза, что подобная проблематика существует с тестированием на клещевой энцефалит Лайма, который ставят многим пациентам в Австралии, несмотря на то, что этот клещ там не водится. Как известно, хорошим решением проблемы ложнопозитивных является обыкновенный повторный тест. Так что не так всё плохо. Условная вероятность – достаточно популярная тема в популярной литературе. Про неё рассказывали и Йейтс, и Граймс, и Пинкер.

В этой главе мне лично понравился оптимизм автора по поводу фондовых рынков. Всё-таки это не казино! Вложишься на полную – что-то, да и останется. Что ж, если потеряешь не все деньги, а лишь половину – уже позитив. Хотя то, что оставалось после прогоревшей крипты – это были слёзы. Сколько останется от лопнувшего пузыря биткойна – сказать трудно. Но я уверен – много. Потому что лох – не мамонт, он не вымрет. Это раз. В то время, как традиционные финансы тоже имеют свойство рушиться, так что ещё неизвестно, где найдёшь, где потеряешь. Это два.

Один и тот же график можно изобразить совсем по-разному. Таким образом величина изменений может быть значительно искажена.

Ладно ноль. При желании можно вообще убрать цифры на одной или обоих осях, и пытаться на голубом глазу что-то доказать. Встречаются также графики, где интервалы вдоль оси делаются неравномерными, растягивая или сжимая график там, где нужно манипулятору.

Подобные ошибки или приёмы довольно легко выявить: достаточно взглянуть на то, как подписаны шкалы на осях. Однако не так легко заметить, что автор использует не очищенные от инфляции цифры. Если посмотреть хотя бы на цену бензина, то можно увидеть, как сильно это меняет впечатление (и выводы) у зрителя. Абсолютные цифры скачут вверх и вниз, а скорректированные остаются сравнительно стабильными. Замечу от себя, что это ещё нужно иметь при этом доверие к государственной статистике инфляции. Ведь, как известно, этим целевым параметром очень любят манипулировать.

В число примеров автора вошёл график от информагентства Associated Press, в котором были перепутаны оси: время было на вертикальной оси, а сумма уплаченных налогов – на горизонтальной. Эти ребята имели наглость утверждать, что налоги растут не так уж быстро. Конечно, если параболу положить на бок, она не так уж быстро растёт. Но сути это не поменяет: парабола останется параболой.

Большие языковые модели (LLM) являются сегодня хитом сезона. Автор недоволен этим хайпом, указывая на то, что этим модели лишь повторяют и рекомбинируют то, чему их обучили. Но фундаментальной проблемы – понимания смысла слов и их отношения к реальному миру – они не решают. В 2023 году вышло исследование от 16 авторов, которые рассказывали о качественном скачке способностей больших языковых моделей. Они писали:

Мы определяем возникающие способности больших языковых моделей как способности, отсутствующие в моделях меньшего масштаба, но присутствующие в больших языковых моделях; таким образом, их нельзя предсказать, просто экстраполируя улучшения производительности на моделях меньшего масштаба.

Иллюстрировалось это подобной графикой:

Ничего не заметили? Логарифмическая шкала на входе, конечно. Если сделать линейную шкалу, то график выгнется в обратную сторону. Никаких возникающих способностей, а только лишь убывающий рост. Типичный закон убывающей доходности.

То, что развитие LLM идёт по этому закону, признал и руководитель компании OpenAI Сэм Альтман.

Я думаю, мы подошли к концу эпохи, когда будут появляться эти гигантские, просто гигантские модели... Мы будем улучшать их другими способами.

Чем больше осей на графике – тем больше возможностей для манипуляций. Но манипулировать можно и вообще без осей. 7 декабря 2000 года одно американское издание вышло с подобным титульным листом:

Ни тебе оси иксов, ни тебе игреков. Только две кривые с одновременным концом. Исходя из него, можно получить впечатление, что Корнелльский университет становится всё дороже и всё хуже. Но во-первых, начала у них разные, во-вторых, кривые можно было бы и поменять местами, а в-третьих, график рейтинга неплохо бы перевернуть! Ведь первое место лучше второго, а не наоборот. По факту учёба в Корнелле дорожала примерно на 6,7% в год, где-то на том же уровне, что и в других университетах. И да, рейтинг у него улучшался, а не ухудшался.

Можно ничего не искажать, а просто перевернуть график. И сразу – другое впечатление. Тот график, что слева, был опубликован в 2012 году под титулом «Кровавая дань Ирака». На нём количество смертей откладывалось на вертикальной оси сверху вниз. Ещё и красным закрасили, чтобы страшнее выглядело.

Но если перевернуть график, чтобы ось выглядела нормально, снизу вверх, то получается, что смертность идёт на убыль. Совсем другое впечатление!

А вот ещё один пример некорректной графики. В 1978 году Вашингтон Пост проиллюстрировала убывание покупательной способности доллара посредством уменьшения размера долларовой купюры.

Фишка здесь в том, что они уменьшали и длину, и ширину купюры, но площадь даст уменьшение в квадрате! Так что доллар президента Картера получился более, чем вчетверо, меньше меньше доллара Эйзенхауэра по площади, хотя на самом деле он потянул бы на 44 цента.

На десерт автор оставил нам с трудом читаемый график из статьи журнала Forbes, посвящённой глобальному потеплению. Идея была, как видно, продемонстрировать отличие корреляции от причинной связи. Число пиратов падает со временем, а температура воздуха растёт. Но вещи эти не зависят друг от друга.

По факту, однако, получился полный хаос. Вертикальная ось без нуля, горизонтальная идёт по убыванию, да ещё и с перепутанными значениями. То, что авторам удалось сосчитать всех 17 пиратов в 2000 году, не придаёт доверия к этому мусорному графику.

Итак, столкнувшись с графической информацие, в первую очередь смотрим на оси. Нет нуля – значит растянут масштаб. Нет цифр – вообще трудно о чём-то судить. И даже если масштабы на месте, необходимо иметь в виду, что нужно делать поправку на инфляцию и рост населения.

Конечно, такая экзотика встречается достаточно редко. Но что часто увидишь – это растянутая ось значений. Такое бывает сплошь и рядом. Иногда это имеет смысл. Но иногда призвано лишь разогнать хайп. Это в лучшем случае. А в худшем – обмануть зрителя.

Иллюстрировать этот принцип можно долго. Автор рассказывает о сравнении процента студентов, которые смогли защититься, между двумя университетами. Стоит ли принимать меры, если в одном университете до диплома доходят 90% студентов, а в другом – всего 40%?  Взять и сделать первый университет дешевле, чтобы туда шло больше студентов? Казалось бы, да, но нет. Дело в том, что в университет не поступают по жребию. Каждый абитуриент знает свои способности и сообразно им делает свой выбор. Они сортируются уже до поступления, и потому сравнивать проценты смысла не имеет. В статистике это называется смещением самоотбора – self-selection bias.

Со студентами было связано ещё одно исследование, посвящённое влиянию посуды на дозу принятого алкоголя. Профессор Скотт Геллер пришёл к выводу в 1984 году, что студенты, заказывавшие пиво кружками, а не стаканами, в конечном счёте больше выпивали. Ему не пришло в голову, что если человек заказывает целую кружку, он изначально планирует нажраться. Вот если бы всем разносили дозу по жребию – тогда было бы другое дело. Но такая логика в баре не работает. Но, несмотря на это, Стэнфордский университет запретил в 2016 году большие бутылки с крепким алкоголем в студенческих общежитиях.

Из той же оперы сообщения о том, что женатая жизнь хороша для сердца. Определили это, сравнивая здоровье женатых и холостяков. Но не учли при этом, что кто-то не может жениться именно из-за плохого здоровья.

Не стоит доверять данным, полученным из опросов популярных СМИ. Во-первых, опросник дойдёт не до всех подряд, а лишь их читателей или зрителей. А во-вторых, далеко не всякий возьмёт на себя труд заполнить и отослать анкету. Я могу проиллюстрировать это отзывами на маркетплейсе, где часто можно увидеть непропорционально много негатива по той причине, что тот, кто доволен, не станет автоматом строчить отзыв, в отличие от. Если опрос длинный и нудный, то чаще всего результатом становятся экстремальные мнения. Просто потому, что это стоит усилий.

Проблемы с исходными данными возникают при так называемой ошибке выжившего. Классическим примером является стремление английских конструкторов улучшить бронирование своих самолётов во время Второй мировой войны. Весь самолёт усилить было не вариант, пришлось выбирать самые уязвимые места. Найти их предполагалось путём анализа повреждений самолётов, вернувшихся с задания.

Если взглянуть на рисунок, то первой идеей будет укрепить там, где максимальное количество пробоин. На самом же деле статистику нужно собирать со всех, а те самолёты, которые не вернулись из полёта, в этой статистике не участвуют. А возвращаются как раз выжившие, так что укреплять нужно в первую очередь места без пробоин.

Много места в исследованиях всяческого рода находит поиск рецепта разбогатеть. Наполеон Хилл продал 100 миллионов экземпляров своей книжки Думай и богатей, в которой он поместил беседы с 45 миллионерами. В девяностых годах вышла ещё одна книжка, авторы которой тоже обещали раскрыть «удивительные секреты богачей-американцев». Секреты предполагалось раскрывать путём рассылки опросника на восемь страниц с обратным конвертом и одним долларом в придачу на адрес трёх тысяч американцев, проживающих в элитных районах. Трудно представить себе, что один доллар побудить миллионера заполнить длинную анкету, но всё-таки авторы получили 1115 ответов, и 385 из них были от миллионеров. Здесь мы имеем дело всё с той же самой ошибкой выжившего. Нельзя делать это в ретроспективе. Правильно было бы идентифицировать характеристики заранее, а потом сравнивать две группы по прошествии времени. Ведь в противном случае мы не имеем дела с неудачниками, которые действовали так же, как и «уцелевшие» миллионеры.

Автор книги От хорошего к великому Джим Коллинз делает ту же ошибку: его команда истратила пять лет, изучая сорокалетнюю историю 1435 компаний и определяя лучших. У 11 «победителей» определили несколько общих характеристик, каждой из которых дали броское имя. На самом деле нужно было вернуться в начало сорокалетнего периода, который исследовал Коллинз, и взять компании, которые существовали на тот момент времени во всей их совокупности. А затем проследить за их судьбой, исходя из вероятных критериев успеха. Кто-то из них неизбежно сойдёт со сцены за сорок лет. Ну а если мы будем смотреть в прошлое успешных фирм, то всегда сможем найти что-то общее. Например, одинаковые буквы в названии. Ну а так – сегодня можно констатировать из одиннадцати победителей Коллинза двое уже обанкротились с момента выхода книжки. Акции пятерых выросли лучше, чем средний курс по бирже, а шестерых – хуже. Автор отмечает, что весь жанр рецептов успеха страдает ошибкой выжившего. Нужно предсказывать будущее, а не смотреть в прошлое.

Иногда очень трудно сравнивать варианты в будущем. Например, если спрашивать пациентов, которым поменяли сустав, то большинство из них говорит, что после стало лучше, чем до. А может быть, это психосоматика? А что было бы, если бы оставили старый сустав? Если делать по уму, то половине пациентов надо давать плацебо, а другую половину – оперировать, а потом сравнивать. Но ведь человек непременно будет знать, что его прооперировали! Однако нашлись доктора, которые придумали решение. Вместо плацебо они делали вид, что поменяли сустав: давали пациенту наркоз, кололи препараты, резали кожу и так далее, и тому подобное. И оказалось, что те, которым сустав не меняли, не чувствовали себя впоследствии хуже других.

Когда делается рандомизированное контрольное испытание (РКИ), все смотрят на получившееся значение вероятности p, которая описывает возможное случайное стечение обстоятельств. Однако часто возникает другой очень интересный вопрос: является ли обнаруженный эффект достаточно сильным, чтобы иметь практическое значение? Например, при исследовании одной из вакцин против гриппа был несомненно обнаружен эффект с p=0,00000002%. Солидно! Но что толку, если эта вакцина снижает среднее количество заболеваний с 2,1 до 1,6?

Известно, что желание получить нужный результат часто сказывается на самом результате. При этом не гнушаются манипуляций. Автор рассказывает историю калифорнийского городка Темекула, где одна компания вознамерилась построить карьер. Эти парни наняли экономиста, который насчитал 172 миллиона ежегодной прибыли с нулевыми убытками для города. Лепота!

Однако выяснилось, что 150 миллионов из этой суммы – это прибыль самой компании, а остальное – зарплата сотни рабочих, и это не новые рабочие места, поскольку постройка карьера в одном месте отменяет необходимость постройки в другом. Так что это не убытки, а прибыль для города оказалась нулевая. Эта компания имела притом наглость утверждать, что при новом карьере в городе подорожает недвижимость. Ну, технически они были правы. Недвижимость имеет свойство дорожать при росте населения. Вот только перед подорожанием она сначала резко упадёт в цене, как только построят карьер. Короче, ничего у них не вышло, предложение было отвергнуто.

Как видим, за хорошую цену найдутся желающие, которые найдут подтверждение любому абсурду и преподадут этот абсурд нам, не моргнувши глазом. Предвзятость подтвержденияthtп во всей своей красе.

Никому нельзя верить на слово. Чем провокационнее заявление – тем больше должен быть наш скептицизм. Часто выясняются примитивные ляпы, которые влетают в огромные деньги. Космическая миссия Mars Climate Orbiter, стоимостью в 300 миллионов долларов, потерпела неудачу в 1998 году по причине того, что инженеры забыли пересчитать фунты в секунду в ньютоны, так что зонд подлетел слишком близко к Марсу и сгорел в его атмосфере.

Или вот ещё случай: американский филиал знаменитого банка JP Morgan просадил от 5 до 10 миллиардов из-за того, что неправильно рассчитал риски вложений. Программист забыл при расчёте среднего разделить на число случаев. Среднее между 6 и 10 у него было 16.

Ляпов хватает и у учёных. Нашумевшее в своё время исследование Рейнхарт и Рогоффа о влиянии степени задолженности страны на экономический рост послужило основанием для введение программ экономии в разных странах. Ведь Соединённых Штаты как раз превысили тот самый порог в 90% ВВП, после которого начинается предполагаемый вред. Но когда одного студента-статистика попросили воспроизвести это исследование, у того ничего не получалось, как он ни пытался. Он обратился к самим Рейнхарт и Рогоффу, и те после долгого отмалчивания снабдили всё-таки его их исходными данными. В которых он и нашёл ошибку: область суммирования в таблице стран не была дотянута до последней строчки, так что из сравнения «хороших» и «плохих» стран-должников оказались исключены многие хорошие. Более того, выяснились и другие несоответствия. 19-летний период высокого долга у Великобритании имел тот же вес, что и однолетний период в Новой Зеландии. Короче, если мы посчитаем всё, как надо, то получится, что в период высокой задолженности экономика стран не падала в среднем на 0,1%, а росла на 2,2%.

Как видно из графика, чёткой связи для значений госдолга выше 90% ВВП не существует. Кто-то справляется, кто-то нет. Более того, кто сказал, что высокий долг влияет на рост, а не наоборот? Корреляция не означает причинной связи. Так что граждан заставляли затягивать пояса безосновательно. Сбор позднейших данных опроверг выводы Рейнхарт и Рогоффа. После кризиса 2008 года степень задолженности многих стран превысила пороговое значение 90%. США достигли 122% в 2024 году. И поди ж ты, продолжают пользоваться плодами экономического роста.

Ещё одним политизированным примером является исследование влияния абортов на преступность. Модный экономист Стивен Левитт, автор явно переоцененной Фрикономики, утверждал, что легализация абортов в США существенно снижает уровень преступности. Он аргументировал, что родившиеся нежелательные дети в неблагополучных семьях не получают достаточно заботы и становятся преступниками. Он упирал на то, что через 18 лет после легализации абортов в стране наблюдался пик числа убийств. Реальная история заключается в том, что в начале девяностых число убийств выросло для всех возрастных групп. После тщательной проверки статьи Левитта в ней нашли массу недочётов, начиная с неправильного датирования, через игнорирование роста населения и заканчивая упущением в учёте годовых изменений в статистике разных штатов. После исправления всех ошибок оказалось, что легализация абортов если и повлияла на преступность, то в сторону усиления.

Про ошибку самоотбора рассказывал в своей книжке Алекс Эдманс, а про ошибку выжившего – Кит Йейтс. Что меня удивило в этих авторских примерах – что подобные ошибки столь распространены, их делает практически каждый. И это огорчает.

Что будет, если достаточно долго пытать данные

Коротко для ЛЛ: Если достаточно долго пытать данные, они признаются. Подобное занятие любят очень многие учёные, стремясь нарыть какую-нибудь закономерность. И, надо сказать, они имеют успех.

Многие из нас помнят о знаменитом осьминоге Пауле, который успешно предсказал предсказал результаты восьми финальных матчей Кубка мира по футболу 2010 года. Всякий раз он брал еду из кормушки, помеченной флагом победившей впоследствии команды. Конечно, головоногим не откажешь в определённом интеллекте, но никому в голову не придёт предположить, что они разбираются в футболе. Что помогло Паулю делать выбор – это его зрение. Не сказать, чтобы оно было очень хорошим. Он и цветов-то не различал. Но зато известно, что осьминогов привлекают горизонтальные формы. И надо сказать, что флаги стран, которые побеждали во всех этих матчах – Германии, Сербии и Испании – состоят из горизонтальных горизонтальных полос. А может быть, ему по каким-то причинам понравился флаг Германии, которая была фаворитом большинства этих матчей.

Хотя кто знает – быть может, в его окружении нашёлся кто-то, кто страдал от избытка свободного времени и решил развлечься. Так тоже уже случалось. Горила Канда из зоопарка Далласа угадал исход девяти матчей NFL из четырнадцати – вполне солидный результат. Или дельфин Минди из Миннесоты: тот тоже успешно предсказывал NFL, выбирая куски плексигласа с лого команды-победителя. Проблема, правда, в том, что в новости попадают те животные, у которых что-то получилось с прогнозами. Всех остальных неудачных предсказателей сразу забывают.

Человек устроен так, что всегда ищет закономерности в картине окружающего мира. Эта способность помогла нашим предкам выжить и размножиться в неблагоприятных условиях. Но в современном мире она стала приносить проблемы. Мы делаем плохо обоснованные выводы, хватаемся за любые подтверждения и отбрасываем неудобные данные. Когнитивные искажения делают нас уязвимыми перед всякого рода статистическими обманами. Всё оттого, что мы постоянно пытаемся понять окружающий мир.

На это накладывается стремление многих авторов во что бы то ни стало сделать карьеру на волне хайпа. Publish or perish – публикуйся или умри. В ход идут сомнительные средства вроде фабрикации данных. Можно вспомнить Эндрю Уэйкфилда, который публиковал в известных журналах научные статьи о связи вакцинации с аутизмом. Мало кого смущало тогда, что его исследование базировалось лишь на 12 случаях. Но стали выясняться несоответствия и явный подлог: пятеро детей из тех двенадцати имели проблемы уже до вакцинации, а потом оказалось, что Уэйкфильд собирался распространять свою собственную вакцину против кори. Его теорию в конце концов опровергли, но опровержение не получило такого распространения, как изначальный хайп. Так что антипрививочники остались, и многие родители по-прежнему боятся прививать своих детей.

Голландский учёный Дидерик Штапель тоже добился известности своими провокационными исследованиями, и тоже потом выяснился мухлёж в его данных. Последовало увольнение, отказ от докторской степени и отзыв полусотни трудов. Или взять директора Института Парапсихологии Уолтера Леви: тот исследовал способность эмбрионов в куриных яйцах включать обогрев в инкубаторе. Коллеги не поверили в этот бред и установили наблюдение. Так и оказалось: Леви манипулировал своим оборудованием для того, чтобы поднять вероятность выше статистических 50%.

Карты Зенера из арсенала Леви

В поиске закономерностей исследователю нужно доказать, что его результат не вызван случаем. Для этого он рассчитывает вероятность случайного совпадения p, и очень желательно, что она окажется достаточно низкой. Хотя бы не выше 5%. Кстати, осьминог Пауль добился этих пяти процентов. В отличие от многих учёных, которым приходится поднимать статистическую значимость сомнительными методами, которые называют p-hacking или подгонкой данных. Нобелевский лауреат Рональд Коуз как-то цинически заметил на этот счёт:

Если вы пытаете данные достаточно долго, то они признаются.

Можно не подгонять, а просто искать какую-нибудь закономерность в том, что есть. Это называется HARKing – постановка гипотезы после того, как результаты уже получены. То есть, мы не проверяем поставленную заранее гипотезу данными, а наоборот – пытаемся нарыть её в статистике.

Излишне будет сказать, что повторить подобный мухлёж часто очень трудно. Сегодня говорят о кризисе воспроизводства исследований, и этот кризис затронул почти все отрасли науки.

В 2010 году появился новый лайфхак: достаточно попрактиковаться в какой-нибудь сильной позе (типа руки в боки), чтобы почувствовать себя более сильным и продуктивным. Да чего почувствовать – стать им! Позитивный настрой, как известно, окрыляет. Эту идею продвигало трое учёных в своей статье. Они провели исследование с 42 добровольцами. Постоял, упершись руками в стол – и пошёл тестостерончик, а кортизол, наоборот, снизился. И да, p получилась 5%, вот так. Вот только воспроизвести их результат не получалось никак. Не то что гормоны – поведение не менялось. В 2016 году ведущему автору Дане Карни пришлось дезавуировать свою идею. Также она призналась, что им пришлось «играться» с числом участников, чтобы получить вероятность в 5%.

Ещё одним примером вольного обращения с данными может послужить работа психолога Джона Готтмана, который предсказывал развод у супругов на основании анализа их разговоров и мимики. Он делал видеозапись, анализировал её, а потом ждал 6 лет. После чего сравнивал тех, кто развелись, с теми, кто не развёлся. Если вы не знали до сего дня, что такое HARKing – вот оно, в чистом виде. Похоже, он не удосужился даже спрогнозировать будущие разводы при помощи своей модели, а смотрел только в прошлое. Неудивительно, что модель не выдержала проверки свежими данными.

Наше стремление обнаружить закономерность не только сослужило нам добрую службу в прошлом, но послужило причиной для множества суеверий, примет и предрассудков. Автор советует нам не принимать шаблон за доказательство. Всегда должно быть логическое объяснение. Более того, это объяснение должно работать и с новыми данными.

Проблема у автора с объяснением феномена осьминога Пауля в том, что в большинстве матчей, результаты которых он предсказывал, флаги обоих участников состояли из горизонтальных полос. Лишь два матча из восьми можно расценить как противостояние полосатого и не полосатого флага.

А о подгонке данных и прочих манипуляциях я уже рассказывал в обзоре книжек Кита Йейтса и Алекса Эдманса. Но ничего, повторенье – мать ученья. В ходе своего повествования автор расскажет ещё о многих случаях недобросовестного обращения с данными. За что его можно уже похвалить – это за отсылку к здравому смыслу. Нам его слишком часто не хватает.

Но время шло, научные знания накапливались, и религиозный авторитет начал понемногу крошиться. Кто поверит сегодня, что гроза идёт вследствие прогулки пророка Ильи по небесам? Каждое новое достижение разума, способного на чудеса волшебного исцеления и другие великие вещи, заставлял задумываться философов о применении его в политическом поле. Руссо заговорил о «воле народа», которая должна управлять страной. Декларацию прав человека и гражданина стали переводить на другие языки, и в различных уголках планеты вызов существующей власти стал приобретать местные культурные и национальные черты. Прежде всего это стало заметно в Европе с её философами-романтиками начала девятнадцатого века. Росло убеждение, что твоя свобода возможна только тогда, когда свободен твой народ. Особенно популярно оно было в рамках многонациональных Габсбургской, Османской и Священной Римской империй (замечу, что последняя хоть и называлась с 1512 года «империей германской нации», но включала в себя территорию современной Чехии, например).

Стремление добиться национальной независимости контрастировало с космополитическими устремлениями французских и американских революционеров. Удивительным образом автор считает французов космополитами, тогда как именно во Франции, избавившейся от монархов и клерикалов, и было создано первое в мире национальное государство. Успехи наполеоновской национальной армии с её национально мотивированным составом вдохновили на подражательство многих европейцев.

Здесь и там в Европе стали появляться новые флаги. Бельгия стала откалываться от Нидерландов сперва под французским триколором. Но он долго не продержался, уступив красно-жёлто-чёрному стандарту давно почившего герцогства. Новорожденный национализм не проник поначалу далеко в массы, а был занятием появляющегося среднего класса. Европейские иммигранты, прибывающие в США с 1840 по 1915 год, гораздо чаще говорили, из какой они деревни и какого епископата, а не какой нации. На Украине в пылу сражений 1918 года английский наблюдатель отмечал, что простые смертные называют себя русскими, православными, да и просто крестьянами. Но почти никогда – украинцами.

Короче, 200 лет назад наций по сути не существовало! Это являлось и является проблемой для националистов. Как можно топить за «естественную» нацию, которой толком не видать? Выход: всё, что не хватает, надо изобрести! В том числе историю. Называется это красивым выражением «пробуждение национального сознания». Основатели современной Италии так и говорили:

Италия создана. Теперь мы должны создать итальянцев.

Работа закипела. Собирался фольклор, коллекционировались напевы и одежда, ковалась «аутентичная» культура. Оно и хорошо в свете того, что индустриализация активно погребала под собой местные особенности. Что не подходило под шаблон – редактировалось. Швейцарские националисты переписывали песни, казавшиеся им недостаточно патриотичными, а венгерские музыканты, заботясь о чистоте культуры, упорно не собирали цыганский фольклор. Греческое платье Амалия было вообще придумано королевой в 1838 году, вобрав себя тогдашние модные тренды.

Платье Амалия

Шведский национальный костюм был разработан в 1905 и «принят на вооружение» в 1983 году. То, что было, по возможности старилось. Шотландский килт, перенятый англичанами у жителей гор в восемнадцатом веке, сделали древней традицией, да ещё присовокупив клетчатый узор, продвигаемый мануфактурщиками викторианской эпохи. Японскую борьбу сумо придумали в начале двадцатого века, дзюдо – в 1882 году. Традиционная культура, демонстрируемая Узбекистаном в Навруз, приобрела свою сегодняшнюю форму усилиями Министерства Культуры лишь в девяностых годах прошлого века.

Конструкторы национальных историй тоже работали, не покладая рук. Каждой нации – свою историю, и чем длиннее – тем лучше! Многие из историков девятнадцатого века с радостью восприняли национальную риторику. Кто-то додумался представлять новую независимость продуктом исторической необходимости. Джузеппе Мадзини вообще утверждал, что нации были предопределены Господом и отказывать им в независимости – значит нарушать Божьи предустановления на Земле.

Весна наций 1848 года стала демонстрацией национальных движений по всей Европе. Правда, многого достигнуть тогда не удалось, а то немногое тоже было откачено назад. Во Франции воцарился Наполеон III, Австрия и Италия тоже получили своих монархов обратно. Но эти и другие монархи поняли мобилизационный потенциал новой идеологии и поставили её себе на службу. Национализм показал себя верным слугой любого установившегося режима. Получив в своё распоряжение госаппарат, его деятели взялись за дело с удвоенным рвением. Патриотизм стали вбивать в головы детишкам в школе и крестьянам на военной службе. Начало двадцатого века стало триумфом национализма, проникшего во все слои населения и шагнувшего далеко за пределы Европы. Детище романтиков одержало верх над интернационализмом Просвещения.

Желание написать прославленную историю было не новым. Испокон веков цари были не прочь приобщиться к деяниям великих предков. Тутмос Четвёртый раскопал занесённого песками древнего Сфинкса и поставил рядом свою стелу для потомков о своём скромном деянии.

Стела Тутмоса IV

С ростом национализма интерес к истории пробудился не на шутку. Ею стали интересоваться не только одни лишь фрики-ботаники. Прошлое стали уважать, и это уважение сохранилось до наших дней. К сожалению, процесс имел и негативные стороны. Победы раздувались, достижения преувеличивались, а поражения и прочие бесславные события охотно забывались или даже отрицались. Мигранты, женщины как будто не существовали, если верить историческим книгам. Нашлось место выдумкам наподобие изобретения китайских иероглифов древними корейцами или происхождения валлийцев от троянцев. Греки девятнадцатого века архаизировали свой язык, переименовали города на древний манер и стали строить в стиле неоклассицизма. Детей стали называть Периклами и Фемистоклами. Вклада славян, франков, венецианцев в греческую историю как будто бы не было. В Финляндии изобрели финских викингов. Надо же как-то сравниться с соседями. Чехи превозносили фальшивку XIX века о народных героях Забое и Славое. Турецкое правительство провозгласило в 1935 году, что первое слово, сказанное человеком, было турецким. Чего уж мелочиться, на самом деле?

Национализм оказался не столько пробуждением древних наций, сколько намеренным их созданием из ошмётков местной культуры. Большинство существующих стран имеют весьма юную историю. Возьмите Турцию, Монголию, Пакистан, Бангладеш, Беларусь или Индонезию. Но все, все без исключения гордятся своей древней историей! Саддам Хусейн подражал вавилонским царям, не обращая внимание, что его страна была слеплена из кусков подмандатных территорий англичанами через два с половиной тысячелетия после падения Вавилона. Жители Северной Македонии гордятся Александром, не имеющим с ними ничего общего, кроме географии. Как не имеет ничего прошлого современный Египет с его древним аналогом. У Македонии хоть название страны совпадает. Французы кукарекают галльскими петушками, хотя галлы растворились столетиями раньше появления первого франкского королевства.

Национальные мифы были бы безвинными академическими упражнениями, но последствия у них весьма реальны. Основываются партии, организуются протесты, льётся кровь. Ксенофобы вроде греческой Золотой зари предлагают минировать границы, а Орбан не пускает беженцев. Венгрия якобы была бастионом защиты христиан от мусульман. В Индии разрушается древняя мечеть (см. Почему мы дерёмся), которая якобы стояла на месте разрушенного индуистского храма. Когда есть возможность, свидетельства присутствия чужих культур – храмы, могилы, мосты, архивы, библиотеки – попросту уничтожаются, как это происходило во время войн в бывшей Югославии. Увы, грань между фарсом и трагедией слишком тонка.

Национализму долгие годы пророчат скорую кончину. Пожалуй, первыми предсказателями её были Маркс и Энгельс с их Манифестом. Им вторил историк Эдуард Карр в 1945 году. И что? С тех пор число только лишь признанных национальных государств выросло почти вчетверо.

Националистические кампании продолжаются. Индия переименовывает города (Бомбей – Мумбай, Мадрас – Ченнай, Аллахабад – Прайяграй...). Китай переписывает учебники истории, включая захват Манчжурии в японо-китайскую войну. Тем же занимается Бразилия, представляя военный путч 1964 года «суверенным решением общества». История по-прежнему стоит на вооружении. Людей учат не отмечать и сохранять историю, а выхолащивать её. На самом деле предки наши много такого накурочили, что не укладывается в прямолинейный канон национальных историков. Это надо иметь в виду.

История – это беспорядок.

-------------------------

Видно, что автор разбирается в теме. Неудивительно: Дэвид получил два образования. Сначала он учил биологию и геологию, а потом подался в политологи. Грыз гранит науки в Эдинбурге и специализировался как раз в национализме. Манипуляция истории политиками – интересная, многогранная тема. Академик Покровский справедливо считал, что история – политика, опрокинутая в прошлое. Он же предлагал «милитаризацию» высшего образования для этих целей.

У него осталось масса последователей, приходится признать. Когда-то давно я читал книжку Марка Ферро «Как рассказывают историю детям в разных странах мира». Вывод, который я сделал для себя: объективного изложения истории своей страны не найдёшь днём с огнём. Что делать? Читать всё подряд: и придворный персонал, и злоязычных супостатов. И делать выводы для себя. Радует то, что доступны многие точки зрения. Не радует – что доступ этот начинает сокращаться.