Одна часть плана связана с тем, как набор данных используется для обучения и тестирования моделей. По сути, набор данных предназначен для двух разных целей. Первая состоит в том, чтобы выявить алгоритм, который генерирует лучшие модели. Вторая — оценить эффективность обобщения наилучшей модели, т. е. насколько хорошо она может справиться с новыми данными. Золотое правило оценки моделей заключается в том, что их никогда не следует тестировать на тех же данных, на которых они были обучены. Использование одних и тех же данных для моделей обучения и тестирования равносильно тому, чтобы показать ученикам экзаменационные вопросы за ночь до экзамена. Естественно, студенты сдадут его на «отлично», но их результаты не будут отражать реальное знание материала курса. То же самое относится и к моделям машинного обучения: если модель оценивается по тем же данным, на которых она обучалась, то оценка будет более оптимистичной по сравнению с реальной эффективностью модели. Стандартный процесс для обеспечения этого правила таков: данные разбиваются на три части — обучающий набор, оценочный набор и тестовый набор. Пропорции, используемые для этого разбиения, будут различаться в зависимости от проекта, но обычно они составляют 50:20:30 или 40:20:40. Размер набора данных является ключевым фактором для определения пропорций разбиения: как правило, чем больше весь набор данных, тем больше и тестовый набор. Учебный набор используется для обучения начальной группы моделей. Оценочный набор — для сравнения эффективности этих моделей на новых данных. Сравнение эффективности начальных моделей на оценочном наборе позволяет нам определить, какой алгоритм сгенерировал лучшую модель. После его выявления обучающий и оценочный наборы могут быть объединены в больший обучающий набор, и этот набор данных подается в лучший алгоритм для создания окончательной модели. Важно отметить, что тестовый набор не использовался ни во время процесса выбора наилучшего алгоритма, ни для обучения окончательной модели. По этой причине он может быть использован для оценки ее эффективности на новых данных.

Другим ключевым компонентом плана тестирования является выбор подходящих показателей для оценки. Обычно модели оцениваются на основе того, насколько часто их выходные данные соответствуют выходным данным из тестового набора. Если целевой атрибут является числовым значением, то одним из способов измерения точности модели на тестовом наборе будет сумма квадратов ошибок. Если целевой атрибут является номинальным или порядковым, то самый простой способ оценить точность модели — вычислить долю в тестовом наборе правильно полученных ею примеров. Однако в некоторых случаях важно включить анализ ошибок в процесс оценки. Например, если модель используется для медицинской диагностики, при диагностировании больного пациента как здорового последствия могут быть гораздо серьезнее, чем при обратной ошибке. Диагностика больного пациента как здорового может привести к тому, что пациента отправят домой без соответствующей медицинской помощи. Если же модель диагностирует здорового пациента как больного, то с большой вероятностью эта ошибка будет обнаружена в ходе последующего обследования, назначенного пациенту. Таким образом, при оценке производительности модели требуется придать одному типу ошибки больший вес, чем другому. После создания плана тестирования специалист по данным может начать обучение и оценку моделей.

Эта глава началась с того, что наука о данных — партнерство между специалистом по данным и компьютером. Машинное обучение представляет собой набор алгоритмов, которые генерируют модели из большого набора данных. Однако пригодность этих моделей зависит от опыта специалиста по данным. Для успешного выполнения проекта набор данных должен быть репрезентативным для исследуемой области и включать в себя соответствующие атрибуты. Специалист по данным оценивает ряд алгоритмов машинного обучения, чтобы найти, какие из них генерируют лучшие модели. Процесс оценки модели должен следовать золотому правилу, согласно которому модель нельзя тестировать на тех же данных, на которых она была обучена.

В большинстве проектов науки о данных основным критерием выбора модели является ее точность. Однако в ближайшем будущем на выбор алгоритмов машинного обучения могут повлиять правила использования данных и конфиденциальности. Так, например, 25 мая 2018 г. в Евросоюзе вступил в силу Общий регламент по защите данных (General Data Protection Regulation, GDPR). Подробнее мы обсудим GDPR в главе 7, а сейчас просто отметим, что в нем есть отдельные статьи, которые наделяют человека «правом на получение разъяснений» в отношении автоматизированных процессов принятия решений{6}. Потенциальное значение такого права состоит в том, что использование труднообъяснимых моделей, таких как нейронные сети, для принятия решений, касающихся отдельных лиц, может стать проблематичным. При таких условиях прозрачность и простота объяснения других моделей, например деревьев решений, могут сделать их использование более подходящим.

И последнее: мир меняется, а модели — нет. В процессе построения набора данных, обучения модели и ее оценки предполагается, что будущее будет таким же, как и прошлое. Это так называемое предположение о стационарности, которое, по сути, означает, что моделируемые процессы или модели поведения являются постоянными во времени (т. е. не меняются). Наборы данных изначально имеют исторический характер в том смысле, что представляют собой наблюдения, сделанные в прошлом. Поэтому алгоритмы машинного обучения ищут в прошлом закономерности, которые можно обобщить и интерполировать в будущее. Очевидно, что это предположение не всегда работает. Для описания того, как процесс или поведение могут со временем изменяться, специалисты по данным используют понятие дрейфа. По причине дрейфа модели перестают работать и нуждаются в переподготовке, именно поэтому процесс CRISP-DM включает в себя внешний круг, подчеркивающий итеративность науки о данных. Эти процессы должны внедряться после развертывания модели, чтобы проверить ее на устаревание, и, если устаревание имеет место, модель должна пройти переподготовку. Большинство подобных решений не могут быть автоматизированы и требуют человеческой проницательности и знаний. Компьютер ответит на поставленный вопрос, но сам вопрос может оказаться неверным.

‹1›. Le Cun, Yann. 1989. «Generalization and Network Design Strategies.» Technical Report CRGTR-89-4. Univeristy of Toronto Connectionist Research Group.

‹2›. Kelleher, John D. 2016. «Fundamentals of Machine Learning for Neural Machine Translation.» In Proceedings of the European Translation Forum.

‹3›. Quinlan, J. R. 1986. «Induction of Deciston Trees.» Machine Learning 1 (1): 81–106. doi:10.1023/A:1022643204877.

‹4›. Kelleher, John D., Brian Mac Namee, and Aoife D’Arcy. 2015. Fundamentals of Machine Learning for Predictive Data Analytics. MIT Press.

‹5›. Wolpert, D. H., and W. G. Macready. 1997. «No Free Lunch Theorems for Optimization.» IEEE Transactions on Evolutionary Computation 1 (1): 67–82. doi:10.1109/4235.585893.