Мартовское безумие: переосмысление. Модель искусственного интеллекта показала себя хорошо. Но безумные вещи всё ещё случаются.

( ПРИМЕЧАНИЕ : Эта статья является частью продолжающейся серии, посвященной эксперименту по использованию ИИ для заполнения турнирных сеток NCAA и сравнению его эффективности с многолетним опытом людей . Оригинальная статья приведена ниже.)

Неделю назад я писал о том, как участвовал в турнире NCAA, придерживаясь более дисциплинированного подхода, чем обычно.

Вместо того чтобы полагаться на талисманы, атмосферу или на то, какая команда в субботний день выглядела лучше всего, я попытался взглянуть на турнирную сетку так, как это сделал бы инвестор или аналитик: отделить прогноз от ожидаемой стоимости, построить одну сетку, исходя из наибольшей вероятности успеха, другую — исходя из динамики групп, и принимать решения, по крайней мере, с учетом неопределенности.

В результате этого процесса образовались две турнирные сетки. Одна из них была «наиболее вероятной», разработанной для максимизации шансов на высокий результат, если бы турнир проходил по в основном рациональному сценарию. Другая представляла собой сетку с расчетом ожидаемой прибыли (EV) для пула примерно из 70 участников — не какой-то безумный, нестандартный вариант, а нечто, призванное обеспечить победу в реальном соревновании, а не просто выглядеть разумно.

И как же всё это закончилось?

В целом, неплохо. Просто не идеально.

Модель правильно предсказала попадание 13 команд в 1/8 финала, что объективно является сильным результатом в турнире, призванном наказывать за самоуверенность и поощрять хаос. Общая структура прогноза оказалась верной. Она определила большинство настоящих фаворитов. Она в целом правильно предсказала команды, которые с наибольшей вероятностью переживут первый уик-энд. Общепринято считать, что структура поля…

Но, как это часто бывает в марте, в этот период выявились и слабые места.

Наиболее очевидными провалами стали поражения от Огайо Стэйт, Висконсина и Флориды. Огайо Стэйт проиграл TCU со счетом 66–64 после позднего броска из-под кольца. Висконсин уступил Хай Пойнту, занимавшему 12-е место в рейтинге, со счетом 83–82. Флорида, действующий чемпион страны и первый номер посева, проиграла Айове со счетом 73–72 после решающего трехочкового броска на последних секундах. Это были не медленные, очевидные провалы. Это были поражения с разницей в одно владение мячом, исход которых решился в последние минуты, именно такие результаты напоминают о том, что ни одна модель проведения турниров не может работать в лабораторных условиях.

Это оставляет два возможных толкования.

Одна из причин заключалась в том, что модель была ошибочной.

Во-вторых, модель в основном оказалась верной, но баскетбол на выбывание — ужасная среда для обеспечения определенности.

Ответ, как обычно, и тот, и другой.

Хорошая новость в том, что 13 из 16 команд, вышедших в 1/8 финала, угадали правильно, что говорит о полезности базовой схемы. Это не было случайностью. Это не было украшением. Это не было просто использованием более замысловатых слов, чтобы прийти к тем же интуитивным предположениям, которые делают все остальные. На уровне определения качества это сработало.

Менее утешительной новостью является то, что эти промахи также оказались поучительными.

Оглядываясь назад, я понимаю, что в этом процессе слишком сильно преобладала точка зрения «более сильная команда обычно проходит дальше». Это часто верно на протяжении сезона. Но это менее справедливо за 40 минут в нейтральном зале, особенно когда аутсайдер может создать нестабильность. Поражение Висконсина — самый наглядный пример. Более сильная модель прогнозирования сенсаций не обязательно предсказала бы победу Хай-Пойнта, но, вероятно, она бы рассматривала Висконсин как более уязвимую команду, чем я: более подверженную влиянию таких игр, когда аутсайдер разыгрывает трёхочковые, создает проблемы фавориту и превращает последние две минуты в игру на выбывание.

Поражение Флориды говорит о чем-то подобном и на более высоком уровне. Первый номер посева никогда не должен быть «вероятно» проигравшим на ранней стадии, но есть разница между силой и неуязвимостью. Модель была права, уважая Флориду. Вероятно, было неправильно считать Флориду «безопасной» командой.

Это различие имеет значение, если вы пытаетесь выиграть в тотализаторе, а не просто защитить своё достоинство.

Вот тут-то и начинается самое интересное. На рынках, в инвестировании и в турнирах по ставкам существует большая разница между общей правильностью прогноза и правильным позиционированием. Прогноз может быть продуманным, но при этом не учитывать реальную уязвимость. Турнир не присуждает баллов за стильность, если вы недооцениваете вероятность того, что аутсайдер начнет показывать хорошие результаты.

Что бы я изменил?

Это не главная идея. Я по-прежнему считаю, что правильный подход к составлению турнирной сетки — это разделение прогнозирования на основе наиболее вероятной победы и стратегии, основанной на ожидаемом значении. Большинство людей смешивают их, не осознавая этого. Они выбирают чемпиона, который, по их мнению, может победить, но затем делают несколько произвольных прогнозов на неожиданные победы, чтобы «разбавить ситуацию», что на самом деле является еще одним способом признать отсутствие у них последовательного подхода.

Я бы улучшил слой, отвечающий за волатильность.

Более совершенный вариант этого подхода уделял бы больше внимания тому, какие фавориты действительно сильны, а какие просто выглядят сильными в таблице. Он более явно измерял бы разброс трехочковых бросков, риск потерь, проблемы с фолами, зависимость от одного бомбардира и то, как часто результаты команд резко меняются от игры к игре. Он по-прежнему уважал бы команды, занимающие верхние строчки турнирной таблицы. Просто относился бы к ним с большей подозрительностью.

Сейчас это имеет еще большее значение, потому что, разумеется, исходные скобки заблокированы.

На данном этапе никто не может утверждать, что «у них была бы Айова», если бы она у них на самом деле не была. В этом и заключается прелесть и жестокость всего этого предприятия. Как только начинаются игры, ваша гениальная концепция превращается в исторический документ.

Но это не значит, что этот процесс перестаёт быть полезным.

Во-первых, могут быть группы для второго шанса. Во многих соревнованиях результаты обнуляются на стадии 1/8 финала или в «Финале четырёх», что является настоящим подарком для тех, кто ценит процесс. Группа для второго шанса избавляет от театральности, от необходимости делать вид, что мы всё знаем заранее. Теперь у нас есть новая информация, меньшее количество участников и новая возможность отделить действительно сильные команды от тех, кто просто выжил.

Что еще более важно, это упражнение по-прежнему дает главный урок, который я надеялся извлечь из этой серии: дисциплинированное прогнозирование — это не устранение неопределенности. Это значит сделать неопределенность понятной.

Модель показала хорошие результаты. У Марча были и другие идеи.

Это не провал. В этом и суть.

А если будет возможность получить второй шанс, я обязательно в ней поучаствую — уже постарше, мудрее и с меньшей готовностью доверять уязвимому фавориту только потому, что его характеристики говорят о необходимости доверия.