Коллаборативная фильтрация

Проверьте себя

Пять вопросов из банка по этой подтеме. Всего их 17, остальные разбираются в тренажёре.

1. #cf_basics1 / 5
   Memory-based CF (поиск ближайших соседей по матрице) плохо масштабируется и страдает от разреженности. Что даёт переход к латентным факторам?

   A)Латентные факторы устраняют саму проблему холодного старта для новых пользователей и товаров

   B)Переход к факторам просто увеличивает размер матрицы взаимодействий, зато делает рекомендации разнообразнее по случайности

   C)Латентные модели работают вообще без обучения и не требуют никаких данных о прошлых взаимодействиях пользователей

   D)Сжатие разреженной матрицы в плотное пространство факторов даёт обобщение на непросмотренные пары и меньше памяти

   показать ответ и разбор

   +D)Сжатие разреженной матрицы в плотное пространство факторов даёт обобщение на непросмотренные пары и меньше памяти

   // разбор: Memory-based CF хранит и сканирует огромную разреженную матрицу и не обобщает на пары без общих взаимодействий. Латентные факторы (через факторизацию) сжимают пользователей и предметы в низкоразмерное плотное пространство: близость в нём переносится и на непросмотренные пары, память падает, разреженность перестаёт быть стеной. Холодный старт при этом сам по себе не решается — новому ID всё ещё неоткуда взять фактор.

2. #cf_basics2 / 5
   Чем косинусная мера похожести отличается от корреляции Пирсона в CF?

   A)Косинус применим к товарам, а корреляция Пирсона — к пользователям сервиса, поэтому эти две меры не получится сравнивать напрямую

   B)Это два разных названия одной и той же формулы, результат у них совпадает

   C)Пирсон центрирует оценки (убирает personal bias шкалы), косинус смотрит на угол без вычитания среднего

   D)Косинус работает с бинарными данными, а Пирсон — со звёздными рейтингами от 1 до 5

   показать ответ и разбор

   +C)Пирсон центрирует оценки (убирает personal bias шкалы), косинус смотрит на угол без вычитания среднего

   // разбор: Косинус меряет угол между векторами оценок, игнорируя их длину, но НЕ убирает сдвиг: «добряк», ставящий всем 4-5, и «строгий», ставящий 2-3, покажутся непохожими из-за разного среднего. Корреляция Пирсона предварительно вычитает средний рейтинг пользователя, снимая personal bias шкалы, — поэтому в user-based CF на явных оценках она обычно предпочтительнее. На неявном фидбэке чаще берут косинус.

3. #cf_basics3 / 5
   Матрица взаимодействий заполнена на 0.1%. Чем это бьёт по memory-based CF?

   A)Ничем: чем разреженнее матрица, тем быстрее и точнее считается похожесть между пользователями

   B)Матрица просто занимает много места на диске, но на само качество рекомендаций это никак не влияет и на общее потребление оперативной памяти сервером рекомендаций

   C)Разреженность автоматически чинится тем, что все пустые ячейки надёжно заполняются нулями

   D)У пар часто нет общих оценок — похожесть считается по 1-2 точкам и шумит; охват рекомендаций падает

   показать ответ и разбор

   +D)У пар часто нет общих оценок — похожесть считается по 1-2 точкам и шумит; охват рекомендаций падает

   // разбор: При экстремальной разреженности у двух пользователей почти нет совместно оценённых товаров, и похожесть оценивается по горстке общих точек — она неустойчива и шумна, а для многих пар вообще не определена. Отсюда бедный охват и капризные соседи. Это ключевая слабость memory-based CF; её и лечат латентными моделями, которые обобщают на непросмотренные пары. Пустое ≠ ноль — трактовать пропуск как 0 неверно.

4. #cf_basics4 / 5
   Рекомендации всё время выводят одни и те же хиты, «хвост» не показывается. Как называется эффект?

   A)Domain shift: распределение товаров в каталоге со временем уехало от обучающего набора

   B)Популярностный биас: частые товары набирают ещё больше сигнала и вытесняют нишевые из выдачи

   C)Переобучение модели на валидации, которое лечится увеличением числа латентных факторов

   D)Утечка таргета: в фичи просочилась будущая популярность товара на момент показа рекомендации

   показать ответ и разбор

   +B)Популярностный биас: частые товары набирают ещё больше сигнала и вытесняют нишевые из выдачи

   // разбор: Популярные товары накапливают больше взаимодействий, модель считает их «безопасно релевантными» и показывает чаще, отчего они набирают ещё больше сигнала — самоусиливающаяся петля, вытесняющая нишевые товары («хвост»). Страдают охват, новизна и персонализация. Борются down-weight популярности, exploration, метриками coverage/novelty и семплированием негативов с учётом популярности. Это не дрифт и не утечка.

5. #cf_basics5 / 5
   Как размер соседства k влияет на качество kNN-рекомендаций?

   A)Маленький k — шумно и капризно, слишком большой — усреднение к популярному и потеря персонализации

   B)Чем больше k, тем лучше рекомендации — брать надо максимально возможный k, вплоть до включения в соседство всех пользователей сервиса сразу

   C)K вообще не влияет на качество, это чисто технический параметр скорости работы алгоритма

   D)Оптимальный k равен числу товаров в каталоге, делённому на число пользователей

   показать ответ и разбор

   +A)Маленький k — шумно и капризно, слишком большой — усреднение к популярному и потеря персонализации

   // разбор: k — сколько похожих соседей учитывать. Слишком маленький k делает прогноз шумным и чувствительным к случайным совпадениям; слишком большой затягивает в соседство далёких, «размывая» сигнал к среднему-популярному и теряя персонализацию. Оптимум — посередине, подбирается по валидации. Универсального «больше = лучше» нет, и с размером каталога k напрямую не связан.