Кластеризация и обучение без учителя

k-means: простой, быстрый и капризный

Работает он в два шага, которые крутятся по кругу. Раскидай точки по ближайшим центрам, потом пересчитай каждый центр как среднее его точек. Повторяй, пока центры не перестанут двигаться. Всё. Центр кластера называют центроидом, и он не обязан совпадать ни с одной реальной точкой.

Теперь капризы, из-за которых метод и спрашивают. Число кластеров k надо назвать заранее. Результат зависит от того, куда центры поставили изначально - это лечит умная инициализация k-means++. И самое коварное: расстояния тут евклидовы, поэтому без масштабирования признаков кластеры соберутся по тому признаку, у которого шкала крупнее. Зарплата в рублях просто задавит возраст в годах.

// А главное допущение вот какое: k-means ищет кластеры округлые и примерно одного размера. Кольца, полумесяцы, вытянутые ленты, области разной плотности - всё это он разрежет неправильно и даже не пожалуется.

центроид

центр кластера, посчитанный как среднее всех его точек

инерция

суммарная удалённость точек от своих центров; с ростом k всегда падает

Когда форма кластера не шар

DBSCAN (density-based spatial clustering of applications with noise) устроен иначе: он не делит пространство, а ищет сгущения. Точка считается ядром, если рядом с ней, в радиусе eps, набралось хотя бы min_samples соседей; из таких ядер кластеры и разрастаются. Число кластеров искать не надо, он находит его сам, форма может быть любой, а одинокие точки честно помечаются шумом. Слабое место одно, но существенное: если в данных есть и плотные, и разреженные группы, единый радиус на всех не натянешь.

Иерархическая кластеризация строит дерево слияний - дендрограмму: сначала каждая точка сама себе кластер, потом ближайшие сливаются, и так до одного общего. Разрезав дерево на нужной высоте, получаешь любое число кластеров, а заодно видишь вложенность - сегменты внутри сегментов. Платишь скоростью: от квадрата числа объектов и выше.

// Практичный выбор без страданий: округлые сегменты пользователей - k-means; произвольная форма и шум, например гео-точки или поиск аномалий - DBSCAN; нужна вложенность и данных немного - иерархическая.

// Есть и мягкий вариант: GMM (gaussian mixture model) описывает данные смесью нормальных распределений, и точка получает не ярлык, а вероятности принадлежать каждому кластеру. Кластеры при этом могут быть вытянутыми эллипсами, а не только шарами; k-means оказывается его жёстким частным случаем.

eps и min_samples

радиус и минимум соседей в нём - так DBSCAN и определяет, что область плотная

Снижение размерности: PCA против t-SNE

PCA (principal component analysis) решает такую задачу: у тебя пятьдесят признаков, а нарисовать хочется на плоскости. Метод ищет направление, вдоль которого данные разбросаны сильнее всего, объявляет его первой новой осью, потом ищет следующее по разбросу среди перпендикулярных - и так далее. Держишь первые две-три оси и получаешь проекцию, которая сохранила максимум различий между объектами. Данные перед этим обязательно центрируют и обычно масштабируют, а сколько осей оставить, решают по доле удержанного разброса.

t-SNE и UMAP работают иначе: они не проецируют, а стараются расположить точки на плоскости так, чтобы соседи остались соседями. Картинка получается красивая, кластеры видны отчётливо. Но за эту красоту приходится платить.

// Правило чтения такой карты стоит запомнить дословно. «Эти точки рядом, значит похожи» - верить можно. «Этот кластер дальше от того, значит различие больше» - верить нельзя, расстояния и размеры пятен на проекции ничего не значат.

объяснённая дисперсия

какую долю общего разброса данных удержали оставленные оси

Как отвечать: «Как выберешь число кластеров для k-means?»

Одной инерцией его не выбрать: она падает с ростом k всегда, вплоть до кластера на каждую точку. Поэтому смотрю на локоть - место, где падение резко замедляется, - и на silhouette, который меряет, насколько кластеры отделены друг от друга. Но финальное слово я отдаю интерпретируемости: сегменты должны различаться так, чтобы по ним можно было действовать по-разному, иначе это красивая математика без применения. И перед всем этим обязательно масштабирую признаки, иначе кластеры соберутся по признаку с самой крупной шкалой. А если число кластеров в задаче в принципе не задано и форма у них хитрая, попробую DBSCAN, ему k не нужен.

Названы формальные критерии и сразу сказано, что решают не они. Это ответ человека, который сегменты потом кому-то показывал.

На чём валят

• −k-means без масштабирования признаков: кластеры соберутся по тому, у кого шкала крупнее.
• −Читать расстояния между кластерами на t-SNE-карте как настоящую близость: это артефакт проекции.
• −PCA без центрирования данных: первая ось уедет в сторону среднего вместо направления наибольшего разброса.
• −Выбирать k по одной инерции: она падает всегда, поэтому лучшего k так не найти в принципе.