ОЖИДАНИЕ МАТА. ЧАСТЬ 1

Мой друг-математик писал как-то раз статью и прервался на слове "матожидание". Его дочка, недавно освоившая чтение, заглянула на монитор и прочла это слово. Попыталась его понять как могла, результатом стал вопрос: "Папа, а от кого ты мат ожидаешь?"

В классической теории игр принято оценивать исходы по матожиданию и предполагать, разумным выбор того варианта действий, который ведет к максимальному матожиданию. Из этих же соображений, например, представляется неправильным участвовать в лотереях и других играх, где матожидание заведомо отрицательное. Тем не менее, очень многие люди на практике участвуют в лотереях и не считают это неправильным. Особенно, если повезло выиграть.

Дело в том, что одно только матожидание не дает преставление о характере игры. В идеальном математическом мире, повторяя игру снова и снова N раз и устремляя N к бесконечности, разумеется, результаты игроков будут стремиться (по вероятности! не в обычном смысле предела!) к Е_i * N, где E_i матожидание i-го игрока и получается, что знания матожидания достаточно. Однако на практике никто не играет бесконечное количество раз, обычно количество повторов ограничено небольшим числом, а зачастую вообще игра происходит однократно.

И здесь знания матожидания уже недостаточно. Достаточно сравнить две игры: в первой у игрока А вероятности выигрыша и проигрыша равны, но выигрыш составляет $200, а проигрыш $100. Очевидно, это выгодная для него игра, матожидание такой игры равно $50, то есть "в среднем" за игру игрок А будет выигрывать $50. А теперь… У каждого свое субъективное понимание что такое "много денег", ну вот выберите конкретную сумму сами и представьте, что в новой игре игрок А все так же с вероятностью 50% выигрывает теперь уже очень большую сумму денег + $200, а проигрывает ту же большую сумму денег + $100. Ну, грубо говоря, выигрывает дом + $200, а проигрывает такой же дом + $100. Матожидание будет все тем же, $50 на игру. Но это сильно другая игра. И если в первую однозначно есть смысл играть и побольше, побольше, то во вторую игру играть странно. Матожидания реализуются в полной мере на бесконечности, ну или хотя бы при очень большом количестве повторов. В приведенном примере, если игр будет настолько много, что $50 среднего выигрыша умноженное на количество игр будет намного больше плюс-минус несколько домов, то только тогда это самое матожидание обретет практический смысл.

Есть еще один нюанс. При математическом рассмотрении выигрыш (проигрыш) представляется некой линейной величиной: выиграть $20 в два раза лучше, чем $10 и так для любых сумм. В реалии же восприятие денег человеком носит нелинейный характер. Например, если человек периодически (не слишком часто) будет покупать недорогой лотерейный билет, потеря небольшой суммы каждый месяц существенно на его жизнь не отразится, она не станет ощутимо хуже. Более того, если предположить, что человек покупает лотерейный билет вместо какой-либо вредной привычки, например, вместо пачки сигарет, то такое поведение даже полезно для него. При этом выигрыш, если он случится, окажет очень сильное влияние на его жизнь.

Странное Казино

Приведу еще один парадоксальный пример, который пришел мне в голову по мотивам знаменитого санкт-петербургского парадокса Бернулли. Забавно, но Бернулли было много, все они родственники; так вот, Бернулли, который стоит у истоков теорвера - формула Бернулли, схема Бернулли и многое другое - это Якоб Бернулли. Санкт-петербургский парадокс придумал малоизвестный и рано умерший Николай Бернулли во время своего недолгого пребывания в Петербурге незадолго до своей болезни и смерти там же. Причем еще один Бернулли - Якоб II (второй, чтоб не путать с первым) погиб опять же в Петербурге, утонув при весьма непонятных обстоятельствах в Неве. Однако Николай Бернулли не смог или не захотел придать особой огласке свою находку, потребовался еще один Бернулли - Даниил Бернулли - чтобы сделать этот парадокс широко известным.

Итак. Вы играете в некоем Странном Казино, не менее странном, чем у Бернулли. Базовый вариант: вы с вероятностью 100% выигрываете $1. Однако вы можете учетверить выигрыш ценой того, что его вероятность станет вдвое меньше (то есть 50%). Причем, это проделать можно сколько угодно раз, выбрав желаемый выигрыш (и, соответственно, его вероятность), а потом сыграть на этих условиях, причем сыграть можно только один раз. Другими словами, вы выигрываете 4^N (ну или 2^2N) долларов с вероятностью 2^-N,  где N - неотрицательное целое число, которое вы выбираете. Если N=0 - это и есть базовый вариант безрискового получения одного доллара. Приведу примеры:

Очевидно, что с точки зрения максимизации матожидания выигрыша, следует выбирать максимально возможный N, зависимость матожидания от N монотонно возрастающая (причем экспоненциально!), сколь большое число N вы бы не выбрали, выбрать на один больше еще выгоднее. Но с другой стороны, очевидно же, что выиграть чудовищную сумму это, конечно же, крайне желаемый результат, но если вероятность такого исхода ничтожна - стоит ли пытаться?

Да, выигрыш в триллион огромен, но вероятность его 0.00009537%, меньше одной миллионной, а играете вы один и только один раз, разумно ли делать такой выбор?

Ключевая идея в правильном оценивании игр состоит в том, что результат должен быть практически реализуемым. Безусловно, математика не знает строгих критериев что такое “реализуемый на практике”. И здесь следует опираться скорее на человеческую логику и здравый смысл, а не на формальную математическую.

Еще один пример подобного рода. Допустим, вы провели научные изыскания и точно установили (примем это как аксиому) что при бросании данной монеты вероятность того, что она встанет на ребро равна одной миллионной. Некий очень странный и очень богатый человек предлагает заплатить вам 100 миллиардов долларов за то, что вы бросите монету, а она встанет на ребро. Опять же, аксиоматически положим, что это правда, и вы действительно получите эти деньги. Матожидание этой игры более чем положительное - оно равно 100 тысячам долларов, то есть в среднем вы будете выигрывать $100,000 при каждом броске. Звучит издевательски, не так ли? Вам, безусловно, стоит сыграть в эту игру (а вдруг?!) если вам не жалко своего времени и участие в ней бесплатно А если участие в этой игре стоит $1000 ? или даже всего $100? Матожидание в этих случаях по прежнему остается положительным. На самом деле вы просто отдаете эти деньги практически гарантированно. Чтобы получать предсказанные $100,000 за бросок вам надо очень и очень много раз играть в эту игру, так чтобы вожделенная вероятность наконец реализовалась и покрыла все предыдущие проигрыши.

В математике есть геометрическое распределение вероятностей, которое описывает вероятность добиться успеха за N попыток. Собственно без всяких сложностей очевидно, что число попыток должно быть как минимум сопоставимо с числом, обратным желанной вероятности. То есть если играть в эту игру сотни миллионов раз, то она действительно выигрышная

Другими словами, помимо матожидания важно (и даже еще более важно!) еще и распределение вероятностей, и возможность их реализации. Игры, при которых, с очень маленькой вероятностью происходит очень хороший (или наоборот очень плохой) исход - трудны для понимания.

Кстати, я недаром подчеркивал, что в игру играем только один раз. Если можно в том Странном Казино играть много раз, то разумный выбор будет другим. Монетка, за постановку которой на ребро, нам обещают 100 миллиардов (надеюсь не зимбабвийских) долларов, если вдруг окажется что можно бросать миллионы раз и есть практическая возможность это реализовать, то ответ о целесообразности участия в такой игре и сколько за нее можно заплатить становится совершенно другим.

К слову, ситуацию, когда некоторую игру повторяют некоторое количество раз, можно рассматривать как новую игру, с новым вариантом распределения исходов, в которую предстоит сыграть один раз. И это следует делать. Например, в трейдинге, в теме управления капиталом, существенно правильнее рассматривать не некую бесконечность торгов - в реале же этого всё равно не будет, а скажем интервалы длиной в несколько месяцев или в год, и рассматривать распределение исходов на таком интервале. С таким подходом (гораздо более близким к реальности) можно прийти к отличающимся от традиционных выводам.

Зависимость выбора от ситуации

Но даже это еще не все, жизнь оказывается еще сложнее. Рассмотрим еще один пример, заимствованный с сайта collective2.com . Раньше при регистрации на этом сайте надо было решить такую задачу (видимо предполагалось, что это нечто вроде вступительного теста), сейчас я его найти не могу (возможно его убрали или плохо ищу), воспроизвожу по памяти.

Итак, у вас есть три возможности, из которых можно выбрать только одну:

1. у вас есть возможность со 100% вероятностью “выиграть” $5,000, этакая благотворительность.
2. вы можете сыграть в лотерею, где вероятность выигрыша уже не 100%, а только 80%, но получите вы, если выиграете, уже $20,000, а в случае проигрыша - результат нулевой и участие в лотерее на удивление бесплатное.
3. наконец в третьем варианте на кону уже полмиллиона долларов, но шансы их выиграть всего 5%, причем в случае проигрыша придется заплатить $100. 

Итак, какой выбор правильный? Большинство знакомых с математикой и теорией игр будут считать то, что называется цена игры, произведение вероятностей на цену исхода: в первом случае это 1 * $5000 = $5000. Во втором, 0.8 * $20,000 = $16,000 (то есть существенно выгоднее), а в третьем 0.05*$500,000 - 0.95*$100 = $29,905 - внезапно третий вариант самый “выгодный”, его и следует выбирать?

Надо понимать, что выбор варианта по матожиданию обоснован, только если вы будете играть в эту игру снова и снова много раз. Что такое "много"? Зависит от конкретной задачи, в этой надо, чтобы все маловероятные исходы реализовались бы. Если есть три человека, которые много-много раз играют в эту игру, каждый из которых всякий раз выбирает один и тот же вариант, то тот, который будет выбирать третий, в итоге останется с бо́льшей суммой денег. Или (интересное уточнение, иногда позволяющее проделывать некие интересные трюки на практики), играет большая команда игроков. Так вот, если они все выберут третий вариант, а выигранные деньги поделят поровну - это будет выгоднее, чем если б они выбирали первый или второй варианты. Размер команды, однако, должен быть достаточно велик, чтобы рассчитывать на выигрыш хотя бы у кого-то.

Кстати, эти два случая - многократный повтор игры и усреднение по времени и одноразовая игра с усреднением по "команде" (правильный термин - по ансамблю) - строго говоря не одно и тоже. Это и есть та самая пресловутая эргодичность , о которой, вернее об отсутствии которой во многих экономических задачах пишет Нассим Талеб в книге "Skin in the game" . Требование эргодичности еще более строгое и тяжелое, чем требование стационарности. Но это большая отдельная тема. Можно почитать упомянутую книгу Талеба а так же статью Марри Гелл-Манна. Нобелевский лауреат по физике, автор гипотезы о кварках и один из создателей квантовой хромодинамики и Стандартной Модели, написал статью о стоящей за гэмблингом динамике: Evaluating gambles using dynamics.

Так какой же вариант выбрать правильно, если сыграть можно только один раз и только одному человеку? На мой взгляд, единственно верного универсального ответа не существует, ответ зависит от жизненной ситуации конкретного человека, то есть лежит в субъективной, а отнюдь не объективной и математизируемой области.

Вот вам пример. Представим трех разных людей, находящихся в совершенно разных жизненных ситуациях, которые стоят перед описанным выбором. И посмотрим, какой вариант оптимален для каждого из них.

У первого человека все плохо - он смертельно болен, но его может спасти операция, которая стоит больших денег, которых у него нет. Мобилизовав все ресурсы и заняв везде, где можно занять, он обнаруживает, что ему не хватает $5000. Эти пять тысяч - цена его жизни. Выбрав первый вариант, он гарантированно спасает себя. Третий вариант очевидно для него абсолютно глуп и неприемлем, поскольку с 95% вероятности он денег не получит и лишится жизни. Второй вариант значительно соблазнительнее, с большой вероятностью он получит нужные $5000 и еще $15000 сверху, которые, очевидно, ему будут потом очень кстати. Но у него есть риск 20% остаться без денег и без жизни. Получается, что для этого человека вариант А единственно верный.

Теперь рассмотрим “обычного” человека, над которым не висит дамоклов меч, что выбрать ему? Второй вариант, возможно, покажется ему более соблазнительным, вероятность его реализации велика, а денег будет существенно больше, чем в первом варианте. Хотя некоторые люди, всегда избегающие риска, всё равно предпочтут первый вариант как гарантированный. Тем не менее, выбор второго варианта представляется себе весьма разумным, по крайней мере, для существенной части людей. Особенно если $5,000 не кажутся сильно большой суммой, а $20,000 - уже что-то.

А может ли кто-то захотеть третий вариант? Пожалуйста, пример. Человек, у которого есть приличный капитал и есть приличный доход. $5,000 для него совсем небольшая сумма, $20 тысяч более значима, но всё равно счастья в жизни не добавит и как-то сильно ее не изменит. Они и так у него есть. Если вдруг что-то захочется купить за 20 тысяч, он и так может себе позволить. Но он собирается покупать дом. И он присмотрел отличный дом, который вписывается в в его бюджет, но на тебе - попался другой вариант, настоящий Дом Мечты, Дом-сказка. На него не хватает полмиллиона. Ну почему б не взять третий вариант - как лотерейный вариант, а вдруг? Теряя самый минимум (потеря $100 для него абсолютно несущественна), получить небольшой, но в принципе не совсем уж иллюзорный шанс воплотить в жизнь Мечту? Почему б не рискнуть?

Вывод можно сделать такой. Надо рассматривать все возможные исходы, причем оцениваться они не столько номинальными долларами, сколько по субъективным критериям: как повлияет на жизнь каждый из исходов? Это очень важная мысль. И не забывать о реализуемости вероятностей, соизмеряя их с количеством предполагаемых попыток.

Матожидание - очень плохой критерий, особенно в ситуациях, когда с маленькой вероятностью происходит нечто очень значимое. Вместо матожидания или среднего арифметического гораздо правильнее в большинстве случаев использовать медиану. Когда есть два исхода, медианы вряд ли поможет, если же возможных исходов много, медиана обычно полезна. Допустим, трейдер проводит серию сделок, используя геометрическое управление капиталом (ставка пропорциональна капиталу, коэффициент пропорциональности может быть как меньше единицы, так и больше). Итогом N игр будет логнормальное распределение с толстым правым хвостом. Из-за него матожидание будет большим и при увеличении плеча будет все увеличиваться, но мода ("горб") распределения и медиана будут уезжать влево. В пределе, при очень большом плече, вы будете иметь крошечную вероятность огромного выигрыша (по сути это ставка на то, что вы выиграете все игры в серии), но и мода и медиана будут близки к -100%, т.е. на практике почти наверняка вы все потеряете. Кстати, пресловутый критерий Келли выбора оптимально плеча совсем не матожидание итога увеличивает, но об этом потом.