Стандартные отклонения (3)
Продолжаем знакомиться с книгой Гари Смита.
Все части выложены в серии.
Коротко для ЛЛ: Некоторые граждане могут прийти к идее надуть нас посредством выворачивания графика. Чаще всего манипулируют со шкалами на осях. Так что в первую очередь обращаем внимание именно на них.
Графическая информация наглядна и потому легче убеждает. Потому же ею пользуются и для всякого рода манипуляций. Одним из самых популярных приёмов является игра с осями. Например, растяжение шкалы, для чего её делают не с нуля, а с какого-то порогового значения.
Один и тот же график можно изобразить совсем по-разному. Таким образом величина изменений может быть значительно искажена.
Ладно ноль. При желании можно вообще убрать цифры на одной или обоих осях, и пытаться на голубом глазу что-то доказать. Встречаются также графики, где интервалы вдоль оси делаются неравномерными, растягивая или сжимая график там, где нужно манипулятору.
Подобные ошибки или приёмы довольно легко выявить: достаточно взглянуть на то, как подписаны шкалы на осях. Однако не так легко заметить, что автор использует не очищенные от инфляции цифры. Если посмотреть хотя бы на цену бензина, то можно увидеть, как сильно это меняет впечатление (и выводы) у зрителя. Абсолютные цифры скачут вверх и вниз, а скорректированные остаются сравнительно стабильными. Замечу от себя, что это ещё нужно иметь при этом доверие к государственной статистике инфляции. Ведь, как известно, этим целевым параметром очень любят манипулировать.
В число примеров автора вошёл график от информагентства Associated Press, в котором были перепутаны оси: время было на вертикальной оси, а сумма уплаченных налогов – на горизонтальной. Эти ребята имели наглость утверждать, что налоги растут не так уж быстро. Конечно, если параболу положить на бок, она не так уж быстро растёт. Но сути это не поменяет: парабола останется параболой.
Большие языковые модели (LLM) являются сегодня хитом сезона. Автор недоволен этим хайпом, указывая на то, что этим модели лишь повторяют и рекомбинируют то, чему их обучили. Но фундаментальной проблемы – понимания смысла слов и их отношения к реальному миру – они не решают. В 2023 году вышло исследование от 16 авторов, которые рассказывали о качественном скачке способностей больших языковых моделей. Они писали:
Мы определяем возникающие способности больших языковых моделей как способности, отсутствующие в моделях меньшего масштаба, но присутствующие в больших языковых моделях; таким образом, их нельзя предсказать, просто экстраполируя улучшения производительности на моделях меньшего масштаба.
Иллюстрировалось это подобной графикой:
Ничего не заметили? Логарифмическая шкала на входе, конечно. Если сделать линейную шкалу, то график выгнется в обратную сторону. Никаких возникающих способностей, а только лишь убывающий рост. Типичный закон убывающей доходности.
То, что развитие LLM идёт по этому закону, признал и руководитель компании OpenAI Сэм Альтман.
Я думаю, мы подошли к концу эпохи, когда будут появляться эти гигантские, просто гигантские модели... Мы будем улучшать их другими способами.
Чем больше осей на графике – тем больше возможностей для манипуляций. Но манипулировать можно и вообще без осей. 7 декабря 2000 года одно американское издание вышло с подобным титульным листом:
Ни тебе оси иксов, ни тебе игреков. Только две кривые с одновременным концом. Исходя из него, можно получить впечатление, что Корнелльский университет становится всё дороже и всё хуже. Но во-первых, начала у них разные, во-вторых, кривые можно было бы и поменять местами, а в-третьих, график рейтинга неплохо бы перевернуть! Ведь первое место лучше второго, а не наоборот. По факту учёба в Корнелле дорожала примерно на 6,7% в год, где-то на том же уровне, что и в других университетах. И да, рейтинг у него улучшался, а не ухудшался.
Можно ничего не искажать, а просто перевернуть график. И сразу – другое впечатление. Тот график, что слева, был опубликован в 2012 году под титулом «Кровавая дань Ирака». На нём количество смертей откладывалось на вертикальной оси сверху вниз. Ещё и красным закрасили, чтобы страшнее выглядело.
Но если перевернуть график, чтобы ось выглядела нормально, снизу вверх, то получается, что смертность идёт на убыль. Совсем другое впечатление!
А вот ещё один пример некорректной графики. В 1978 году Вашингтон Пост проиллюстрировала убывание покупательной способности доллара посредством уменьшения размера долларовой купюры.
Фишка здесь в том, что они уменьшали и длину, и ширину купюры, но площадь даст уменьшение в квадрате! Так что доллар президента Картера получился более, чем вчетверо, меньше меньше доллара Эйзенхауэра по площади, хотя на самом деле он потянул бы на 44 цента.
На десерт автор оставил нам с трудом читаемый график из статьи журнала Forbes, посвящённой глобальному потеплению. Идея была, как видно, продемонстрировать отличие корреляции от причинной связи. Число пиратов падает со временем, а температура воздуха растёт. Но вещи эти не зависят друг от друга.
По факту, однако, получился полный хаос. Вертикальная ось без нуля, горизонтальная идёт по убыванию, да ещё и с перепутанными значениями. То, что авторам удалось сосчитать всех 17 пиратов в 2000 году, не придаёт доверия к этому мусорному графику.
Итак, столкнувшись с графической информацие, в первую очередь смотрим на оси. Нет нуля – значит растянут масштаб. Нет цифр – вообще трудно о чём-то судить. И даже если масштабы на месте, необходимо иметь в виду, что нужно делать поправку на инфляцию и рост населения.
Конечно, такая экзотика встречается достаточно редко. Но что часто увидишь – это растянутая ось значений. Такое бывает сплошь и рядом. Иногда это имеет смысл. Но иногда призвано лишь разогнать хайп. Это в лучшем случае. А в худшем – обмануть зрителя.
