Трюк с ядром

Многие алгоритмы используют примеры через внутренние продукты. Функция ядра вычисляет сходство, соответствующее внутреннему продукту в некотором пространстве признаков. Если алгоритм можно написать, используя только попарные внутренние продукты, эти продукты можно заменить вычислениями ядра. Затем алгоритм ведет себя так, как если бы каждый ввод был сопоставлен с этим пространством признаков, даже если преобразованные координаты никогда не создавались явно. Это трюк ядра. Машины опорных векторов являются хорошо известным примером. Линейная SVM создает плоскую границу во входном представлении. При наличии допустимого нелинейного ядра та же оптимизация может сформировать нелинейную границу в исходном входном пространстве. Полиномиальное ядро ​​может представлять взаимодействия до выбранной степени, тогда как ядро ​​радиальной базисной функции дает сходство, которое уменьшается с расстоянием. Этот выбор меняет степень гибкости поверхности принятия решений. Ядро не обеспечивает точность модели автоматически. Слишком простое ядро ​​может не подойти; слишком гибкий может соответствовать шуму. Входное масштабирование имеет значение, поскольку сходство на основе расстояния зависит от величины объекта. Гиперпараметры, такие как ширина RBF, определяют, насколько быстро сходство падает с расстоянием. Выберите настройки, используя данные обучения и проверки, и оцените окончательную производительность на основе данных, которые не определяли этот выбор. Вычислительный компромисс также имеет значение. Методы ядра часто сохраняют или вычисляют сходство между многими парами примеров. Полная матрица растет квадратично с количеством обучающих примеров, что может привести к увеличению затрат памяти и времени. Для больших наборов данных более практичными могут быть явные карты объектов, аппроксимации, линейные модели или другие подходы. Ядро должно удовлетворять условиям математической достоверности для стандартных методов оптимизации, обычно его симметричная матрица Грама является положительно полуопределенной для каждого конечного набора входных данных. Произвольные оценки сходства не обязательно являются действительными ядрами. Этот трюк позволяет избежать явного перечисления потенциально большого пространства признаков, но не исключает вычислений: попарная оценка ядра может быть доминирующей затратой.