Источник задачи: https://mmmf.msu.ru/archive/20102011/z5/19.html (задача номер 2).

Интуитивный ответ – 1/2. И, надо сказать, он же правильный. Несмотря на то, что кому-то более искушённому в теорвере, чем простой обыватель, покажется, что 1/3. Ведь изначальная вероятность, что у него два мальчика – 1/4, а вариант с двумя девочками уже отпал. Но нет. Ведь в противном случае вероятность разнополых детей была бы 2/3 вне зависимости от того, встретили ли мы мистера Смита с мальчиком или девочкой.

Наверное, излишне будет написать, что искусственный интеллект решает подобные задачи исходя из того, что он читал сам. Автор решил проверить это на примере задачи с тремя картами. Представьте, что у нас три карты в коробке, одна из которых с обеих сторон красная, другая – синяя, а третья с одной стороны красная, а с другой синяя (RR, BB и RB). Мы взяли из коробки одну карту, и видим, что одна сторона у неё красная. Какова вероятность того, что другая тоже красная? Можно подумать, что 1/2, но на самом деле будет 2/3. Потому что всего у нас три красных стороны, и две из них расположены на полностью красной карте RR.

Так вот, нейронка правильно решает эту задачу в классическом виде. Но что будет, если изменить условие задачи, заменив в ней красно-синюю карту на красно-зелёную (RR, BB и RG), и спросив, какова будет вероятность, что обратная сторона красной карты окажется зелёной? Правильный ответ – 1/3, поскольку из трёх равновероятных красных сторон только одна имеет на обороте зелёную. Гуглевский бард выдал 2/3, а ChatGPT написал 472 слова, заключив о том, что вероятность вообще нулевая.

Когда говорят о вероятностях, речь часто идёт о случайных событиях. Однако роль независимого случая оказывается нередко преувеличенной. Часто всплывают скрытые зависимости. Если мы бросим две игральные кости, то вероятность того, что выпадут две единицы будет равна 1/6 * 1/6 = 1/36. И это верно, потому что это независимые события. Но если, например, мы захотим вычислить вероятность того, что случайно выбранный американец окажется старше 90 лет (P=0,009) и притом женщиной (P=0,5), то она окажется равной не 0,009*0,5, а 0,009*0,67. Почему? Потому что в пожилом возрасте женщины встречаются чаще.

Многие слышали выражение, что играть на бирже – всё равно, что играть в казино. И даже Нобелевский лауреат Пол Самуэльсон выразился на этот счёт:

Запишите эти 1800-процентные изменения ежемесячных цен акций на таком же количестве листков бумаги. Положите их в большую шляпу. Энергично потрясите. Затем случайным образом вытяните пару тысяч новых билетов, каждый раз заменяя предыдущий и энергично встряхивая. Таким образом, мы сможем создать новые реалистично репрезентативные возможные варианты развития будущих фондовых рынков.

Наш автор решил, что неплохо бы проверить, и сложил ежемесячный доход акций S&P за сотню лет в память компьютера и на базе этих данных сгенерировал случайным образом курсы на 25 лет вперёд. И так – миллион раз. 15% всех симуляций оказались слишком экстремальными, то есть не вписывались в диапазон той прошлой сотни лет.

Неизбежная проблема состоит в том, что цена акции на бирже – это не метание игральной кости. Она отражает в себе дивиденды и прибыли компании. Она не будет падать бесконечно долго: найдётся инвестор, который сочтёт новую цену неотразимой.

Эти рассуждения не являются очень уж академичными и праздными. За ними стоит риск реальных последствий. Исходя из «случайного» поведения цен акций на бирже некоторые аналитики советовали людям избавляться от своих акций после обвала биржи в 2008 году:

Если у вас нет задатков азартного игрока, торгующего по-крупному, немедленно избавьтесь от акций и вложите свои пенсионные накопления в государственные облигации с защитой от инфляции и аналогичные инструменты. Эти инвестиции защищены от катастроф, подобных тем, что пережил Уолл-стрит в прошлом году.

9 марта 2009 было достигнуто дно, после чего акции пошли вверх, превзойдя тогдашний курс в несколько раз. Потому что курс акции зависит от дохода компании. Будет доход – будет и рост курса.

Однако эта логика не работает для курса крипты. На чём основаны предсказания непрестанного роста биткойна? На прошлом развитии? Но ребята, если он продолжит расти, как рос когда-то, то его курс должен утраиваться каждые два года. Национальное бюро экономических исследований рассчитало на основе прошлых данных, что курс биткойна может рухнет до нуля в любой день с вероятностью в 0,4%. Пузырю биткойна суждено, конечно, когда-то лопнуть, но эти 0,4% дадут 99,9% уже за пять лет, и эти пять лет уже прошли с момента выхода в свет этого исследования. Как видно, даже крипта не работает по закону случая.

Если рассказывать о вероятностях, то не обойтись без условных вероятностей. Если кому-то придёт в голову идея устроить тестирование на наркотики на рабочем месте для, скажем, работников службы поддержки, то автор уверяет нас, что это нехорошая идея. Потому что тесты имеют свойство ошибаться. Допустим, что тест на марихуану сработает в 95% случаев. Попробуем задать вопрос наоборот: какова вероятность того, что если у кого-нибудь протестированных колег обнаружился тест сработает, то он курил марихуану? Всё зависит от цифр. Чем больше народу тестируешь – тем больше ошибок. Представим себе, что мы тестируем 10 тысяч человек, из которых 500 покуривают травку. Из этих 500 тест выявит 500*0,95=475 человек. И ещё 9500*0,05=475 выявятся из остальных 9500 человек через ложнопозитивный тест. Получается, что вероятность того, что если тест сработал, то человек на самом деле «дунул» накануне, составляет всего лишь 50%.

Похожая проблематика возникает при тестировании на очень редкую болезнь: пусть тест очень точный, но таких больных так мало, что ложнопозитивные срабатывания большого числа проводимых тестов перевесят. Они становятся практически неизбежными. Если одного и того же здорового человека подвергнуть тестированию на разные болезни с пятипроцентным шансом ложнопозитивного срабатывания, то уже после десятка тестов насобираем 40%. Увеличим количество тестов – и неизбежно приблизимся к ста процентам.

Курьёзной иллюстрацией этого принципа может служить исследование студента Крейга Беннетта, который делал МРТ у дохлой лососи. У него получилось! Ведь, как известно, магнитно-резонансная томография характеризуется высоким уровнем шумов, которые можно интерпретировать как значимый отклик. За свежий взгляд и новаторство Крейгу присудили Шнобелевскую премию.

Проблемой ложнопозитивных мы досыта наелись в пандемию. Не так давно я рассказывал в обзоре книги Век диагноза, что подобная проблематика существует с тестированием на клещевой энцефалит Лайма, который ставят многим пациентам в Австралии, несмотря на то, что этот клещ там не водится. Как известно, хорошим решением проблемы ложнопозитивных является обыкновенный повторный тест. Так что не так всё плохо. Условная вероятность – достаточно популярная тема в популярной литературе. Про неё рассказывали и Йейтс, и Граймс, и Пинкер.

В этой главе мне лично понравился оптимизм автора по поводу фондовых рынков. Всё-таки это не казино! Вложишься на полную – что-то, да и останется. Что ж, если потеряешь не все деньги, а лишь половину – уже позитив. Хотя то, что оставалось после прогоревшей крипты – это были слёзы. Сколько останется от лопнувшего пузыря биткойна – сказать трудно. Но я уверен – много. Потому что лох – не мамонт, он не вымрет. Это раз. В то время, как традиционные финансы тоже имеют свойство рушиться, так что ещё неизвестно, где найдёшь, где потеряешь. Это два.

Один и тот же график можно изобразить совсем по-разному. Таким образом величина изменений может быть значительно искажена.

Ладно ноль. При желании можно вообще убрать цифры на одной или обоих осях, и пытаться на голубом глазу что-то доказать. Встречаются также графики, где интервалы вдоль оси делаются неравномерными, растягивая или сжимая график там, где нужно манипулятору.

Подобные ошибки или приёмы довольно легко выявить: достаточно взглянуть на то, как подписаны шкалы на осях. Однако не так легко заметить, что автор использует не очищенные от инфляции цифры. Если посмотреть хотя бы на цену бензина, то можно увидеть, как сильно это меняет впечатление (и выводы) у зрителя. Абсолютные цифры скачут вверх и вниз, а скорректированные остаются сравнительно стабильными. Замечу от себя, что это ещё нужно иметь при этом доверие к государственной статистике инфляции. Ведь, как известно, этим целевым параметром очень любят манипулировать.

В число примеров автора вошёл график от информагентства Associated Press, в котором были перепутаны оси: время было на вертикальной оси, а сумма уплаченных налогов – на горизонтальной. Эти ребята имели наглость утверждать, что налоги растут не так уж быстро. Конечно, если параболу положить на бок, она не так уж быстро растёт. Но сути это не поменяет: парабола останется параболой.

Большие языковые модели (LLM) являются сегодня хитом сезона. Автор недоволен этим хайпом, указывая на то, что этим модели лишь повторяют и рекомбинируют то, чему их обучили. Но фундаментальной проблемы – понимания смысла слов и их отношения к реальному миру – они не решают. В 2023 году вышло исследование от 16 авторов, которые рассказывали о качественном скачке способностей больших языковых моделей. Они писали:

Мы определяем возникающие способности больших языковых моделей как способности, отсутствующие в моделях меньшего масштаба, но присутствующие в больших языковых моделях; таким образом, их нельзя предсказать, просто экстраполируя улучшения производительности на моделях меньшего масштаба.

Иллюстрировалось это подобной графикой:

Ничего не заметили? Логарифмическая шкала на входе, конечно. Если сделать линейную шкалу, то график выгнется в обратную сторону. Никаких возникающих способностей, а только лишь убывающий рост. Типичный закон убывающей доходности.

То, что развитие LLM идёт по этому закону, признал и руководитель компании OpenAI Сэм Альтман.

Я думаю, мы подошли к концу эпохи, когда будут появляться эти гигантские, просто гигантские модели... Мы будем улучшать их другими способами.

Чем больше осей на графике – тем больше возможностей для манипуляций. Но манипулировать можно и вообще без осей. 7 декабря 2000 года одно американское издание вышло с подобным титульным листом:

Ни тебе оси иксов, ни тебе игреков. Только две кривые с одновременным концом. Исходя из него, можно получить впечатление, что Корнелльский университет становится всё дороже и всё хуже. Но во-первых, начала у них разные, во-вторых, кривые можно было бы и поменять местами, а в-третьих, график рейтинга неплохо бы перевернуть! Ведь первое место лучше второго, а не наоборот. По факту учёба в Корнелле дорожала примерно на 6,7% в год, где-то на том же уровне, что и в других университетах. И да, рейтинг у него улучшался, а не ухудшался.

Можно ничего не искажать, а просто перевернуть график. И сразу – другое впечатление. Тот график, что слева, был опубликован в 2012 году под титулом «Кровавая дань Ирака». На нём количество смертей откладывалось на вертикальной оси сверху вниз. Ещё и красным закрасили, чтобы страшнее выглядело.

Но если перевернуть график, чтобы ось выглядела нормально, снизу вверх, то получается, что смертность идёт на убыль. Совсем другое впечатление!

А вот ещё один пример некорректной графики. В 1978 году Вашингтон Пост проиллюстрировала убывание покупательной способности доллара посредством уменьшения размера долларовой купюры.

Фишка здесь в том, что они уменьшали и длину, и ширину купюры, но площадь даст уменьшение в квадрате! Так что доллар президента Картера получился более, чем вчетверо, меньше меньше доллара Эйзенхауэра по площади, хотя на самом деле он потянул бы на 44 цента.

На десерт автор оставил нам с трудом читаемый график из статьи журнала Forbes, посвящённой глобальному потеплению. Идея была, как видно, продемонстрировать отличие корреляции от причинной связи. Число пиратов падает со временем, а температура воздуха растёт. Но вещи эти не зависят друг от друга.

По факту, однако, получился полный хаос. Вертикальная ось без нуля, горизонтальная идёт по убыванию, да ещё и с перепутанными значениями. То, что авторам удалось сосчитать всех 17 пиратов в 2000 году, не придаёт доверия к этому мусорному графику.

Итак, столкнувшись с графической информацие, в первую очередь смотрим на оси. Нет нуля – значит растянут масштаб. Нет цифр – вообще трудно о чём-то судить. И даже если масштабы на месте, необходимо иметь в виду, что нужно делать поправку на инфляцию и рост населения.

Конечно, такая экзотика встречается достаточно редко. Но что часто увидишь – это растянутая ось значений. Такое бывает сплошь и рядом. Иногда это имеет смысл. Но иногда призвано лишь разогнать хайп. Это в лучшем случае. А в худшем – обмануть зрителя.