NLP: словные эмбеддинги

Проверьте себя

Пять вопросов из банка по этой подтеме. Всего их 8, остальные разбираются в тренажёре.

1. #word_embeddings1 / 5
   Чем skip-gram отличается от CBOW в word2vec?

   A)Модель skip-gram по конструкции способна работать с биграммами и никакими другими окнами контекста, а на другие размеры окна контекста её расширить не получится

   B)CBOW вообще не использует контекстные слова при обучении

   C)Skip-gram по центру предсказывает контекст, CBOW по контексту — центр; skip-gram лучше на редких словах

   D)Это просто два разных названия одного и того же алгоритма

   показать ответ и разбор

   +C)Skip-gram по центру предсказывает контекст, CBOW по контексту — центр; skip-gram лучше на редких словах

   // разбор: CBOW усредняет векторы контекстных слов и предсказывает центральное — быстрее, лучше на частых словах. Skip-gram делает обратное: по центральному предсказывает каждое контекстное — медленнее, но точнее на редких словах и малых корпусах (каждое вхождение даёт больше пар). Обучение ускоряют негативным сэмплированием. Skip-gram + negative sampling — частый дефолт.

2. #word_embeddings2 / 5
   Чем GloVe концептуально отличается от word2vec?

   A)Модель GloVe способна строить векторные представления для английского языка

   B)GloVe вообще не даёт на выходе векторов отдельных слов

   C)GloVe — это разновидность нейросети-трансформера

   D)GloVe учит векторы из глобальной матрицы совстречаемости слов (факторизация статистики), а word2vec — из локальных окон предсказанием

   показать ответ и разбор

   +D)GloVe учит векторы из глобальной матрицы совстречаемости слов (факторизация статистики), а word2vec — из локальных окон предсказанием

   // разбор: Word2vec — предсказательный метод на локальных окнах. GloVe (Global Vectors) явно строит матрицу совстречаемости слов по всему корпусу и факторизует её, оптимизируя, чтобы скалярное произведение векторов приближало логарифм частоты совстречаемости — использует глобальную статистику напрямую. На практике оба дают похожие статические эмбеддинги; выбор чаще про инженерию/данные. Оба контекст-независимые.

3. #word_embeddings3 / 5
   Чем fastText улучшает word2vec для морфологически богатых языков и OOV?

   A)Строит вектор слова из его символьных n-грамм — даёт векторы даже незнакомым/редким словоформам

   B)Он игнорирует внутреннюю морфологическую структуру слова и работает с целыми токенами, подобно обычному словарному эмбеддингу целых слов

   C)Он обязательно требует параллельного двуязычного корпуса

   D)Он работает поверх мешка слов (BoW)

   показать ответ и разбор

   +A)Строит вектор слова из его символьных n-грамм — даёт векторы даже незнакомым/редким словоформам

   // разбор: word2vec/GloVe дают вектор только словам из словаря — редкие формы и OOV выпадают, а для богатой морфологии (русский: «дом/дома/домами») формы учатся раздельно. fastText представляет слово суммой векторов его символьных n-грамм (subword): вектор для незнакомого слова собирается из кусочков, а родственные формы делят n-граммы и близки. Отсюда устойчивость к OOV и морфологии.

4. #word_embeddings4 / 5
   «король − мужчина + женщина ≈ королева» демонстрирует, что...

   A)Обученные эмбеддинги хранят слова в алфавитном порядке их индексов в общем словаре модели

   B)в пространстве эмбеддингов семантические отношения кодируются устойчивыми направлениями (сдвигами векторов)

   C)Word2vec умеет решать математические уравнения

   D)Векторы двух слов ортогональны

   показать ответ и разбор

   +B)в пространстве эмбеддингов семантические отношения кодируются устойчивыми направлениями (сдвигами векторов)

   // разбор: Аналогия работает, потому что регулярные отношения (пол, множественное число, столица-страна) проявляются как примерно одинаковые векторные сдвиги. «king−man» ловит «королевскость без мужского», прибавление «woman» даёт «queen». Следствие дистрибутивного обучения. Оговорка: аналогии не идеальны, чувствительны к частотам/датасету, а метод исключает исходные слова из ответа.

5. #word_embeddings5 / 5
   Фундаментальное ограничение статических эмбеддингов (word2vec/GloVe), которое сняли контекстные модели?

   A)Обученные статические эмбеддинги физически не помещаются в оперативную память при практическом использовании

   B)Они работают для английского языка

   C)Один вектор на слово независимо от контекста: полисемия («ключ», «bank») схлопнута в одну точку

   D)Статические эмбеддинги не могут быть плотными по своей природе

   показать ответ и разбор

   +C)Один вектор на слово независимо от контекста: полисемия («ключ», «bank») схлопнута в одну точку

   // разбор: Статический эмбеддинг присваивает слову ОДИН вектор навсегда, усредняя все смыслы: «ключ» (гаечный/скрипичный/от двери), «bank» (банк/берег) сливаются в точку — контекст не различить. Контекстные модели (ELMo, BERT и далее) выдают вектор слова В ЗАВИСИМОСТИ от предложения, разводя значения полисемичных слов. Ключевой шаг от статических к контекстным представлениям.