Netflix обратились к алгоритму «ближайшего соседа», в котором основное внимание уделялось группировке клиентов согласно их предпочтениям в фильмах, а не объединению фильмов друг с другом.

К моменту объявления соревнования Netflix Prize подписчики проставили миллиард рейтингов 60 000 фильмам и сериалам – богатый набор данных, но функция Cinematch не раскрыла его тонкостей.

BellKor и другие команды написали свои алгоритмы рекомендаций с нуля и в течение нескольких месяцев изучили кривую обучаемости, на что у Netflix ушли годы, и затем превзошли ее. Построенные ими алгоритмы обнаружили нюансы в огромном массиве данных, совершенно незнакомые Волынскому, Беллу и Корену. Алгоритмы проанализировали паттерны, созданные рейтингами подписчиков, и присвоили свои собственные описания фильмам, которые были обширнее и точнее, чем такие ярлыки, как «режиссер», «актер» и «жанр», но не имели никакого смысла для человеческого восприятия.

Например, Белл заметил, что алгоритм «определил», что подписчики, которым нравились фильмы Вуди Аллена, часто обращают внимание только на определенные типы фильмов Аллена – например, снятые в определенную эпоху его карьеры или в особой обстановке, где действие происходит в определенном месте, – и не рекомендуют другие работы режиссера.

На второй год конкурса прогресс замедлился, особенно после того, как BellKor раскрыла свои методы в документе, как требовали того правила Netflix Prize, и команда наблюдала за тем, как другие пытаются ее обогнать, используя их же собственные методы. Они застряли на показателе улучшения алгоритма Cinematch на 8,6 %.

Ближе к середине второго года конкурса Корен устроился на работу в исследовательский центр Yahoo! в Израиле и, будучи неуверенным в том, сможет ли он заниматься проектом дальше, прежде чем уйти, рьяно взялся за решение головоломки. Их динамика роста замедлилась до полпроцента здесь и десятой доли пункта там, поэтому Белл и Волынски решили обратиться к доске лидеров за «свежей кровью», чтобы вытащить себя из застоя.

Новая команда под названием Big Chaos – два молодых австрийских математика, которые писали алгоритмы на основе, заложенной BellKor в первый год конкурса, и взлетели в рейтинге, – привлекла внимание Белла и Волынски. Белл отправил электронное письмо Андреасу Тошеру и Майклу Джаре из Commendo Research, устроив нечто вроде научного свидания вслепую, чтобы выяснить, возможно ли объединение и подходят ли они по характеру и по подходу к проблеме. В своих письмах Тошер и Джара дали понять команде BellKor, что они не против, и согласились провести трансатлантическую телеконференцию, чтобы объединить силы, взяв название BellKor in Big Chaos.

Затем они принялись искать экологические и психологические факторы, которые влияли на то, как и почему люди оценивали фильмы так, а не иначе. Были ли подписчики более или менее лояльны, когда оценивали фильмы на выходных, а не в будние дни? Какой эффект имело оценивание одновременно большого количества фильмов? Оценивали ли люди фильмы по-разному в зависимости от их настроения, и если это так, то как это можно определить? Менялась ли со временем склонность человека быть строгим или добродушным критиком, и если да, то как и почему?

Каждый из этих вопросов стал сам по себе уравнением, которое нужно было проверить, и если результаты были последовательными и существенными, то они добавлялись к остальным уравнениям, которые представляли собой их победную формулу.

По мере того как улучшения Cinematch накапливались из выстраданных полпроцентов и десятых долей процента, небольшое подмножество фильмов ускользало от классификации и на второй год превратилось в главный барьер между конкурсантами Netflix Prize и их выигрышем в 1 млн долларов. Эти фильмы, как правило, носили иронический или полемический характер, и мнения аудитории и критиков по поводу того, были ли они шедеврами или полной ерундой, резко разделились.

Главным среди этой группы был странный независимый фильм «Наполеон Динамит» (лента, на которую приходился наибольший процент ошибок во всех моделях BellKor), а также политические поляризационные фильмы, такие как «Фаренгейт 9/11» – документальная лента режиссера Майкла Мура о террористических атаках на Нью-Йорк и Вашингтон и о второй войне в Ираке.

Прогнозы, в какую крайность впадут подписчики, оценивая такие фильмы, как «Взломщики сердец», «Трудности перевода», «Водная жизнь» и «Страсти Христовы», были чистой лотереей. Невозможно было оценить по предыдущим рейтингам, как люди отнесутся к этим фильмам.

Белл рассудил, что решение проблемы «Наполеона Динамита» заключается не только в том, чтобы найти похожие фильмы, но и в обучении алгоритма, когда у него недостаточно информации о подписчике, чтобы он сделал хоть какой-нибудь прогноз. В результате было получено уравнение, в котором вообще не учитывался подписчик, который слишком редко оценивал фильмы, или который проставлял слишком много рейтингов однотипным фильмам, или же предоставлял малое количество стабильно высоких или низких оценок.

Несмотря на основополагающие идеи второго года, команды смогли добиться улучшения только на один процент по сравнению с предыдущим. Команда BellKor in Big Chaos забрала еще одно вознаграждение Progress Prize в размере 50 000 долларов, чтобы пополнить свою сокровищницу наград, которая включала китчевую копию звезды Аллеи славы Голливуда, которую они выиграли в прошлом году и разместили ее в вестибюле AT&T Shannon Laboratory.

Беннет из Netflix, который ушел на пенсию в 2009 году, задавался вопросом, достанется ли приз в 1 млн долларов хоть кому-нибудь. В январе на конкурсе разгорелась серьезная борьба; доска лидеров «вернулась к жизни», поскольку команды изо всех сил пытались сократить разрыв в менее чем 1 % в улучшении по сравнению с командой BellKor in Big Chaos. Все хотели забрать большой приз.

Команды начали объединяться во все более крупных масштабах, в надежде на то, что сочетание их методологий поможет им преодолеть последние несколько десятых процента и перейти порог в 10 %. Команда BellKor in Big Chaos также принялась искать свежие идеи. Они нашли двух программистов франко-канадского происхождения, Мартина Шаббера и Мартина Пьйотт, которые атаковали доску лидеров, объединив победную формулу, получившую Progress Prize, со своими нестандартными решениями.

Ни Шаббер, ни Пьйотт, которые называли себя Pragmatic Theory, не имели никакого официального образования в сфере интеллектуального анализа данных, и в течение первых двух лет они намеренно воздерживались от проведения научных исследований в рамках конкурса. Они говорили, что предпочитают подходить к решению проблемы, находя закономерности в данных или психологических аспектах подписчиков, и превращать их в рабочие модели ПО. Они отказались от внешней информации о фильмах и сосредоточились на прогнозировании рейтингов, а не на попытках объяснить их с помощью формул.

«Алгоритмы, которые находят фактические закономерности в данных, в бесчисленных оттенках серого, намного мощнее любого вида метаданных, которые отличают лишь черное и белое», – сказал Шаббер.

Их креативность продвинула их объединенную команду, которая теперь называлась BellKor’s Pragmatic Chaos,