Верить в то, что в Myspace сидели исключительно некомпетентные клоуны, которые в 2019 году не знали слова бэкап, значит не уважать самого себя. Очевидно, что это был бизнес план, поданный со стороны идиота.

Подумайте сами, тратить миллионы долларов на перенос терабайтов мертвых муз.файлов(или фото), которые приносят ноль рублей прибыли? Ни за что!

Постоянно рисковать получить гигантский иск от крупных лейблов за нарушение авторских прав, скрытых в тысячах любительских ремиксов? Пфф...

Гораздо проще нажать кнопку удаления и сказать: "Ой, мы всё сломали." Идеальное преступление, где орудием убийства стала искусная имитация собственной технической импотенции. Быть дурачком дешевле и безопаснее, чем быть корпоративным злодеем. Многие говорят... Инцидент с Myspace просто исторический анекдот.

Но я склонен, считать, что это надгробный камень всей концепции 'в интернете ничего не пропадает'. Пропадает. И ещё как.

Жадность компаний всегда будет превосходить архивную ценность, особенно в контексте обычных никому не нужных "творцов".

Вообще. Когда ваши файлы перестанут быть рентабельными, вы даже не услышите клика удаляющего ваши "личные архивы" сисадмина.

Как то так.

Так что, когда в следующий раз Яндекс Диск и т.п. пришлют вам уведомление об изменении условий тарифа, ваш личный архив жив ровно до тех пор, пока он окупает электричество на сервере.

В 2019 году лохами оказались майспесовцы-музыканты. А завтра? Кто знает.

Источники:

https://xakep.ru/2019/03/19/myspace-data-lost/

https://www.bfm.ru/news/409690?ysclid=mmjl1qsvcy405619242

https://gazeta.spb.ru/2096153-myspace-poteryali-dannye-nakop...

https://aif.ru/society/web/v_myspace_zayavili_o_potere_50_ml...

https://habr.com/ru/news/444134/?ysclid=mmjl2mtdzt393378246

https://toppress.kz/article/dannie-polzovatelei-myspace-bili...

Иллюстрировать этот принцип можно долго. Автор рассказывает о сравнении процента студентов, которые смогли защититься, между двумя университетами. Стоит ли принимать меры, если в одном университете до диплома доходят 90% студентов, а в другом – всего 40%?  Взять и сделать первый университет дешевле, чтобы туда шло больше студентов? Казалось бы, да, но нет. Дело в том, что в университет не поступают по жребию. Каждый абитуриент знает свои способности и сообразно им делает свой выбор. Они сортируются уже до поступления, и потому сравнивать проценты смысла не имеет. В статистике это называется смещением самоотбора – self-selection bias.

Со студентами было связано ещё одно исследование, посвящённое влиянию посуды на дозу принятого алкоголя. Профессор Скотт Геллер пришёл к выводу в 1984 году, что студенты, заказывавшие пиво кружками, а не стаканами, в конечном счёте больше выпивали. Ему не пришло в голову, что если человек заказывает целую кружку, он изначально планирует нажраться. Вот если бы всем разносили дозу по жребию – тогда было бы другое дело. Но такая логика в баре не работает. Но, несмотря на это, Стэнфордский университет запретил в 2016 году большие бутылки с крепким алкоголем в студенческих общежитиях.

Из той же оперы сообщения о том, что женатая жизнь хороша для сердца. Определили это, сравнивая здоровье женатых и холостяков. Но не учли при этом, что кто-то не может жениться именно из-за плохого здоровья.

Не стоит доверять данным, полученным из опросов популярных СМИ. Во-первых, опросник дойдёт не до всех подряд, а лишь их читателей или зрителей. А во-вторых, далеко не всякий возьмёт на себя труд заполнить и отослать анкету. Я могу проиллюстрировать это отзывами на маркетплейсе, где часто можно увидеть непропорционально много негатива по той причине, что тот, кто доволен, не станет автоматом строчить отзыв, в отличие от. Если опрос длинный и нудный, то чаще всего результатом становятся экстремальные мнения. Просто потому, что это стоит усилий.

Проблемы с исходными данными возникают при так называемой ошибке выжившего. Классическим примером является стремление английских конструкторов улучшить бронирование своих самолётов во время Второй мировой войны. Весь самолёт усилить было не вариант, пришлось выбирать самые уязвимые места. Найти их предполагалось путём анализа повреждений самолётов, вернувшихся с задания.

Если взглянуть на рисунок, то первой идеей будет укрепить там, где максимальное количество пробоин. На самом же деле статистику нужно собирать со всех, а те самолёты, которые не вернулись из полёта, в этой статистике не участвуют. А возвращаются как раз выжившие, так что укреплять нужно в первую очередь места без пробоин.

Много места в исследованиях всяческого рода находит поиск рецепта разбогатеть. Наполеон Хилл продал 100 миллионов экземпляров своей книжки Думай и богатей, в которой он поместил беседы с 45 миллионерами. В девяностых годах вышла ещё одна книжка, авторы которой тоже обещали раскрыть «удивительные секреты богачей-американцев». Секреты предполагалось раскрывать путём рассылки опросника на восемь страниц с обратным конвертом и одним долларом в придачу на адрес трёх тысяч американцев, проживающих в элитных районах. Трудно представить себе, что один доллар побудить миллионера заполнить длинную анкету, но всё-таки авторы получили 1115 ответов, и 385 из них были от миллионеров. Здесь мы имеем дело всё с той же самой ошибкой выжившего. Нельзя делать это в ретроспективе. Правильно было бы идентифицировать характеристики заранее, а потом сравнивать две группы по прошествии времени. Ведь в противном случае мы не имеем дела с неудачниками, которые действовали так же, как и «уцелевшие» миллионеры.

Автор книги От хорошего к великому Джим Коллинз делает ту же ошибку: его команда истратила пять лет, изучая сорокалетнюю историю 1435 компаний и определяя лучших. У 11 «победителей» определили несколько общих характеристик, каждой из которых дали броское имя. На самом деле нужно было вернуться в начало сорокалетнего периода, который исследовал Коллинз, и взять компании, которые существовали на тот момент времени во всей их совокупности. А затем проследить за их судьбой, исходя из вероятных критериев успеха. Кто-то из них неизбежно сойдёт со сцены за сорок лет. Ну а если мы будем смотреть в прошлое успешных фирм, то всегда сможем найти что-то общее. Например, одинаковые буквы в названии. Ну а так – сегодня можно констатировать из одиннадцати победителей Коллинза двое уже обанкротились с момента выхода книжки. Акции пятерых выросли лучше, чем средний курс по бирже, а шестерых – хуже. Автор отмечает, что весь жанр рецептов успеха страдает ошибкой выжившего. Нужно предсказывать будущее, а не смотреть в прошлое.

Иногда очень трудно сравнивать варианты в будущем. Например, если спрашивать пациентов, которым поменяли сустав, то большинство из них говорит, что после стало лучше, чем до. А может быть, это психосоматика? А что было бы, если бы оставили старый сустав? Если делать по уму, то половине пациентов надо давать плацебо, а другую половину – оперировать, а потом сравнивать. Но ведь человек непременно будет знать, что его прооперировали! Однако нашлись доктора, которые придумали решение. Вместо плацебо они делали вид, что поменяли сустав: давали пациенту наркоз, кололи препараты, резали кожу и так далее, и тому подобное. И оказалось, что те, которым сустав не меняли, не чувствовали себя впоследствии хуже других.

Когда делается рандомизированное контрольное испытание (РКИ), все смотрят на получившееся значение вероятности p, которая описывает возможное случайное стечение обстоятельств. Однако часто возникает другой очень интересный вопрос: является ли обнаруженный эффект достаточно сильным, чтобы иметь практическое значение? Например, при исследовании одной из вакцин против гриппа был несомненно обнаружен эффект с p=0,00000002%. Солидно! Но что толку, если эта вакцина снижает среднее количество заболеваний с 2,1 до 1,6?

Известно, что желание получить нужный результат часто сказывается на самом результате. При этом не гнушаются манипуляций. Автор рассказывает историю калифорнийского городка Темекула, где одна компания вознамерилась построить карьер. Эти парни наняли экономиста, который насчитал 172 миллиона ежегодной прибыли с нулевыми убытками для города. Лепота!

Однако выяснилось, что 150 миллионов из этой суммы – это прибыль самой компании, а остальное – зарплата сотни рабочих, и это не новые рабочие места, поскольку постройка карьера в одном месте отменяет необходимость постройки в другом. Так что это не убытки, а прибыль для города оказалась нулевая. Эта компания имела притом наглость утверждать, что при новом карьере в городе подорожает недвижимость. Ну, технически они были правы. Недвижимость имеет свойство дорожать при росте населения. Вот только перед подорожанием она сначала резко упадёт в цене, как только построят карьер. Короче, ничего у них не вышло, предложение было отвергнуто.

Как видим, за хорошую цену найдутся желающие, которые найдут подтверждение любому абсурду и преподадут этот абсурд нам, не моргнувши глазом. Предвзятость подтвержденияthtп во всей своей красе.

Никому нельзя верить на слово. Чем провокационнее заявление – тем больше должен быть наш скептицизм. Часто выясняются примитивные ляпы, которые влетают в огромные деньги. Космическая миссия Mars Climate Orbiter, стоимостью в 300 миллионов долларов, потерпела неудачу в 1998 году по причине того, что инженеры забыли пересчитать фунты в секунду в ньютоны, так что зонд подлетел слишком близко к Марсу и сгорел в его атмосфере.

Или вот ещё случай: американский филиал знаменитого банка JP Morgan просадил от 5 до 10 миллиардов из-за того, что неправильно рассчитал риски вложений. Программист забыл при расчёте среднего разделить на число случаев. Среднее между 6 и 10 у него было 16.

Ляпов хватает и у учёных. Нашумевшее в своё время исследование Рейнхарт и Рогоффа о влиянии степени задолженности страны на экономический рост послужило основанием для введение программ экономии в разных странах. Ведь Соединённых Штаты как раз превысили тот самый порог в 90% ВВП, после которого начинается предполагаемый вред. Но когда одного студента-статистика попросили воспроизвести это исследование, у того ничего не получалось, как он ни пытался. Он обратился к самим Рейнхарт и Рогоффу, и те после долгого отмалчивания снабдили всё-таки его их исходными данными. В которых он и нашёл ошибку: область суммирования в таблице стран не была дотянута до последней строчки, так что из сравнения «хороших» и «плохих» стран-должников оказались исключены многие хорошие. Более того, выяснились и другие несоответствия. 19-летний период высокого долга у Великобритании имел тот же вес, что и однолетний период в Новой Зеландии. Короче, если мы посчитаем всё, как надо, то получится, что в период высокой задолженности экономика стран не падала в среднем на 0,1%, а росла на 2,2%.

Как видно из графика, чёткой связи для значений госдолга выше 90% ВВП не существует. Кто-то справляется, кто-то нет. Более того, кто сказал, что высокий долг влияет на рост, а не наоборот? Корреляция не означает причинной связи. Так что граждан заставляли затягивать пояса безосновательно. Сбор позднейших данных опроверг выводы Рейнхарт и Рогоффа. После кризиса 2008 года степень задолженности многих стран превысила пороговое значение 90%. США достигли 122% в 2024 году. И поди ж ты, продолжают пользоваться плодами экономического роста.

Ещё одним политизированным примером является исследование влияния абортов на преступность. Модный экономист Стивен Левитт, автор явно переоцененной Фрикономики, утверждал, что легализация абортов в США существенно снижает уровень преступности. Он аргументировал, что родившиеся нежелательные дети в неблагополучных семьях не получают достаточно заботы и становятся преступниками. Он упирал на то, что через 18 лет после легализации абортов в стране наблюдался пик числа убийств. Реальная история заключается в том, что в начале девяностых число убийств выросло для всех возрастных групп. После тщательной проверки статьи Левитта в ней нашли массу недочётов, начиная с неправильного датирования, через игнорирование роста населения и заканчивая упущением в учёте годовых изменений в статистике разных штатов. После исправления всех ошибок оказалось, что легализация абортов если и повлияла на преступность, то в сторону усиления.

Про ошибку самоотбора рассказывал в своей книжке Алекс Эдманс, а про ошибку выжившего – Кит Йейтс. Что меня удивило в этих авторских примерах – что подобные ошибки столь распространены, их делает практически каждый. И это огорчает.

Что будет, если достаточно долго пытать данные

Коротко для ЛЛ: Если достаточно долго пытать данные, они признаются. Подобное занятие любят очень многие учёные, стремясь нарыть какую-нибудь закономерность. И, надо сказать, они имеют успех.

Многие из нас помнят о знаменитом осьминоге Пауле, который успешно предсказал предсказал результаты восьми финальных матчей Кубка мира по футболу 2010 года. Всякий раз он брал еду из кормушки, помеченной флагом победившей впоследствии команды. Конечно, головоногим не откажешь в определённом интеллекте, но никому в голову не придёт предположить, что они разбираются в футболе. Что помогло Паулю делать выбор – это его зрение. Не сказать, чтобы оно было очень хорошим. Он и цветов-то не различал. Но зато известно, что осьминогов привлекают горизонтальные формы. И надо сказать, что флаги стран, которые побеждали во всех этих матчах – Германии, Сербии и Испании – состоят из горизонтальных горизонтальных полос. А может быть, ему по каким-то причинам понравился флаг Германии, которая была фаворитом большинства этих матчей.

Хотя кто знает – быть может, в его окружении нашёлся кто-то, кто страдал от избытка свободного времени и решил развлечься. Так тоже уже случалось. Горила Канда из зоопарка Далласа угадал исход девяти матчей NFL из четырнадцати – вполне солидный результат. Или дельфин Минди из Миннесоты: тот тоже успешно предсказывал NFL, выбирая куски плексигласа с лого команды-победителя. Проблема, правда, в том, что в новости попадают те животные, у которых что-то получилось с прогнозами. Всех остальных неудачных предсказателей сразу забывают.

Человек устроен так, что всегда ищет закономерности в картине окружающего мира. Эта способность помогла нашим предкам выжить и размножиться в неблагоприятных условиях. Но в современном мире она стала приносить проблемы. Мы делаем плохо обоснованные выводы, хватаемся за любые подтверждения и отбрасываем неудобные данные. Когнитивные искажения делают нас уязвимыми перед всякого рода статистическими обманами. Всё оттого, что мы постоянно пытаемся понять окружающий мир.

На это накладывается стремление многих авторов во что бы то ни стало сделать карьеру на волне хайпа. Publish or perish – публикуйся или умри. В ход идут сомнительные средства вроде фабрикации данных. Можно вспомнить Эндрю Уэйкфилда, который публиковал в известных журналах научные статьи о связи вакцинации с аутизмом. Мало кого смущало тогда, что его исследование базировалось лишь на 12 случаях. Но стали выясняться несоответствия и явный подлог: пятеро детей из тех двенадцати имели проблемы уже до вакцинации, а потом оказалось, что Уэйкфильд собирался распространять свою собственную вакцину против кори. Его теорию в конце концов опровергли, но опровержение не получило такого распространения, как изначальный хайп. Так что антипрививочники остались, и многие родители по-прежнему боятся прививать своих детей.

Голландский учёный Дидерик Штапель тоже добился известности своими провокационными исследованиями, и тоже потом выяснился мухлёж в его данных. Последовало увольнение, отказ от докторской степени и отзыв полусотни трудов. Или взять директора Института Парапсихологии Уолтера Леви: тот исследовал способность эмбрионов в куриных яйцах включать обогрев в инкубаторе. Коллеги не поверили в этот бред и установили наблюдение. Так и оказалось: Леви манипулировал своим оборудованием для того, чтобы поднять вероятность выше статистических 50%.

Карты Зенера из арсенала Леви

В поиске закономерностей исследователю нужно доказать, что его результат не вызван случаем. Для этого он рассчитывает вероятность случайного совпадения p, и очень желательно, что она окажется достаточно низкой. Хотя бы не выше 5%. Кстати, осьминог Пауль добился этих пяти процентов. В отличие от многих учёных, которым приходится поднимать статистическую значимость сомнительными методами, которые называют p-hacking или подгонкой данных. Нобелевский лауреат Рональд Коуз как-то цинически заметил на этот счёт:

Если вы пытаете данные достаточно долго, то они признаются.

Можно не подгонять, а просто искать какую-нибудь закономерность в том, что есть. Это называется HARKing – постановка гипотезы после того, как результаты уже получены. То есть, мы не проверяем поставленную заранее гипотезу данными, а наоборот – пытаемся нарыть её в статистике.

Излишне будет сказать, что повторить подобный мухлёж часто очень трудно. Сегодня говорят о кризисе воспроизводства исследований, и этот кризис затронул почти все отрасли науки.

В 2010 году появился новый лайфхак: достаточно попрактиковаться в какой-нибудь сильной позе (типа руки в боки), чтобы почувствовать себя более сильным и продуктивным. Да чего почувствовать – стать им! Позитивный настрой, как известно, окрыляет. Эту идею продвигало трое учёных в своей статье. Они провели исследование с 42 добровольцами. Постоял, упершись руками в стол – и пошёл тестостерончик, а кортизол, наоборот, снизился. И да, p получилась 5%, вот так. Вот только воспроизвести их результат не получалось никак. Не то что гормоны – поведение не менялось. В 2016 году ведущему автору Дане Карни пришлось дезавуировать свою идею. Также она призналась, что им пришлось «играться» с числом участников, чтобы получить вероятность в 5%.

Ещё одним примером вольного обращения с данными может послужить работа психолога Джона Готтмана, который предсказывал развод у супругов на основании анализа их разговоров и мимики. Он делал видеозапись, анализировал её, а потом ждал 6 лет. После чего сравнивал тех, кто развелись, с теми, кто не развёлся. Если вы не знали до сего дня, что такое HARKing – вот оно, в чистом виде. Похоже, он не удосужился даже спрогнозировать будущие разводы при помощи своей модели, а смотрел только в прошлое. Неудивительно, что модель не выдержала проверки свежими данными.

Наше стремление обнаружить закономерность не только сослужило нам добрую службу в прошлом, но послужило причиной для множества суеверий, примет и предрассудков. Автор советует нам не принимать шаблон за доказательство. Всегда должно быть логическое объяснение. Более того, это объяснение должно работать и с новыми данными.

Проблема у автора с объяснением феномена осьминога Пауля в том, что в большинстве матчей, результаты которых он предсказывал, флаги обоих участников состояли из горизонтальных полос. Лишь два матча из восьми можно расценить как противостояние полосатого и не полосатого флага.

А о подгонке данных и прочих манипуляциях я уже рассказывал в обзоре книжек Кита Йейтса и Алекса Эдманса. Но ничего, повторенье – мать ученья. В ходе своего повествования автор расскажет ещё о многих случаях недобросовестного обращения с данными. За что его можно уже похвалить – это за отсылку к здравому смыслу. Нам его слишком часто не хватает.