Computer Vision на практике

Проверьте себя

Пять вопросов из банка по этой подтеме. Всего их 11, остальные разбираются в тренажёре.

1. #cv_practice1 / 5
   Модель отлично работает на валидации, но на реальных фото в проде — плохо. Частая CV-причина?

   A)Домен-сдвиг: другое освещение/камеры/ракурсы или препроцессинг не как на обучении — вход из другого распределения

   B)Причина в том, что на продакшен-сервере установлена немного другая версия библиотеки для чтения файлов изображений

   C)Реальные фотографии сложно подать в обученную свёрточную сеть без потери качества распознавания

   D)Модель просто обучалась слишком мало эпох, и достаточно продолжить обучение на той же самой валидационной выборке

   показать ответ и разбор

   +A)Домен-сдвиг: другое освещение/камеры/ракурсы или препроцессинг не как на обучении — вход из другого распределения

   // разбор: Классика — domain shift: валидация взята из того же чистого распределения, что и трейн, а прод-фото сняты в других условиях (освещение, фон, камера, ракурс, разрешение) или иначе препроцессятся (другая нормализация/ресайз, чем на обучении). Модель видит вход из другого распределения и проседает. Лечат репрезентативной обучающей выборкой, аугментацией под реальные условия и совпадающим на train/prod препроцессингом.

2. #cv_practice2 / 5
   Берёте предобученную на ImageNet сеть. Почему важно нормировать входы теми же mean/std, что при предобучении?

   A)Сеть училась на входах определённого масштаба; другая нормировка сдвигает распределение и роняет качество

   B)Без точных mean/std сеть физически не сможет прочитать изображение и сразу упадёт с ошибкой

   C)Значения mean/std влияют лишь на скорость обучения, но на итоговое качество предсказаний обученной модели не влияют совсем никак

   D)Нормировка нужна лишь для чёрно-белых изображений, а для цветных её вполне можно и пропустить

   показать ответ и разбор

   +A)Сеть училась на входах определённого масштаба; другая нормировка сдвигает распределение и роняет качество

   // разбор: Предобученные веса откалиброваны под конкретное распределение входов (нормировку на ImageNet-статистики). Подадите иначе масштабированные пиксели — активации уйдут в непривычный диапазон, и качество упадёт, хотя ошибки не будет. Поэтому при transfer learning повторяют ту же нормировку (или аккуратно адаптируют при дообучении). Это не про способность «прочитать» кадр и не только про скорость.

3. #cv_practice3 / 5
   В классификации изображений один класс встречается в 50 раз реже. Что разумно сделать?

   A)Ничего: свёрточные сети сами устойчивы к дисбалансу классов в данных и корректируют его автоматически прямо в процессе обучения без какого-либо вмешательства инженера

   B)Удалить редкий класс из обучения — раз примеров мало, предсказывать частые классы

   C)Взвесить лосс по классам, досэмплировать/аугментировать редкий, смотреть per-class recall, а не accuracy

   D)Перевести все изображения в оттенки серого — это само по себе выравнивает частоты классов

   показать ответ и разбор

   +C)Взвесить лосс по классам, досэмплировать/аугментировать редкий, смотреть per-class recall, а не accuracy

   // разбор: При сильном дисбалансе сеть склонна игнорировать редкий класс, а accuracy это маскирует (почти всё предсказать «частым» и получить высокую точность). Лечат перевесом лосса в пользу редкого, oversampling/аугментацией его примеров (или undersampling частых) и оценкой по per-class recall/precision, PR-AUC — не по accuracy. Удаление класса и перевод в серое проблему не решают.

4. #cv_practice4 / 5
   Что такое test-time augmentation (TTA) и что она даёт?

   A)Аугментация обучающей выборки прямо во время обучения ради дополнительной регуляризации сети

   B)Прогон нескольких аугментированных версий одного кадра на инференсе с усреднением предсказаний — чуть точнее и стабильнее

   C)Автоматический подбор гиперпараметров модели прямо на тестовой выборке перед финальным замером

   D)Сжатие модели перед выкатом в прод за счёт удаления части её свёрточных фильтров и слоёв

   показать ответ и разбор

   +B)Прогон нескольких аугментированных версий одного кадра на инференсе с усреднением предсказаний — чуть точнее и стабильнее

   // разбор: TTA применяют на инференсе: одно изображение прогоняют в нескольких вариантах (флип, кропы, масштабы), а предсказания усредняют. Это сглаживает случайные ошибки и обычно чуть повышает качество и устойчивость ценой роста времени инференса в разы. Не путать с обучающей аугментацией (во время тренировки); подбором гиперпараметров на тесте это тем более не является — это была бы утечка.

5. #cv_practice5 / 5
   Чем аугментации mixup и cutmix отличаются от обычных (флип, кроп, поворот)?

   A)Они меняют яркость и контраст изображения, не трогая его геометрию и содержимое

   B)Это аугментации для инференса, на этапе обучения их применять не получится

   C)Они работают лишь с чёрно-белыми снимками и требуют предварительного удаления цвета из кадра

   D)Смешивают два изображения и их метки (линейно или вклейкой куска), заставляя модель работать с промежуточными примерами

   показать ответ и разбор

   +D)Смешивают два изображения и их метки (линейно или вклейкой куска), заставляя модель работать с промежуточными примерами

   // разбор: Обычные аугментации преобразуют одно изображение, сохраняя метку. Mixup линейно смешивает пары картинок и их метки (λ и 1−λ), cutmix вклеивает вырезанный кусок одной в другую и так же смешивает метки пропорционально площади. Модель учится на «промежуточных» примерах — это регуляризует, сглаживает границы классов, повышает устойчивость. Речь о смешивании пар и меток, а не о яркости, инференсе или цвете.