Нефункциональное тестирование на мобиле

Стабильность: как читать проценты

Доля сессий без падения - главная метрика стабильности, но её нельзя читать как школьную оценку. Сессий у человека много, и вероятности перемножаются: пока прогон один, 99,5% выглядят прекрасно, а на сорока сессиях в месяц это 18% людей, столкнувшихся с падением. Разница между 99,5% и 99,9% на бумаге - четыре десятых процента, а на деле 18% пострадавших против 4%.

Рядом стоит зависание интерфейса. Система Android считает приложение зависшим, если главный поток - тот, что рисует интерфейс и обрабатывает нажатия, - занят дольше пяти секунд, и показывает человеку окно «приложение не отвечает». Но пять секунд - это формальный порог системы: человек считает интерфейс сломанным гораздо раньше, уже когда экран секунду не реагирует на нажатие.

// Поэтому зависания не отмахиваются словами «это же не падение». Для человека замерший экран хуже честного падения: при падении понятно, что случилось, а тут он не знает, живо приложение или нет, и жмёт по кнопке ещё пять раз - иногда оформляя пять заказов.

доля сессий без падения

перемножается по сессиям: 99,5% - это 18% пострадавших за месяц

зависание интерфейса

главный поток занят; система Android рисует «не отвечает» после 5 секунд

Скорость: замер на слабом процессоре

Я взял один и тот же экран и прогнал его с искусственно замедленным процессором - так моделируют разницу между флагманом и бюджетным телефоном. Отрисовка списка из трёх тысяч строк: на полной скорости 49 миллисекунд, при замедлении вчетверо - 142, вшестеро - 246, вдесятеро - 288. Пересчёт двухсот тысяч записей на экране: 63 миллисекунды на полной скорости и 760 при замедлении вдесятеро, то есть в двенадцать раз дольше.

Вот почему нельзя мерить скорость на телефоне разработчика. На мощном железе тяжёлая логика прячется: 63 миллисекунды никто не заметит. На слабом та же логика - три четверти секунды заметного подвисания на каждое действие, и это уже те самые отзывы «тормозит».

// Меряют то же, что и на сервере, но по устройствам: время холодного старта, отклик на нажатие, плавность прокрутки. И обязательно перцентилями - то есть смотрят не среднее, а худшие проценты: p95 отклика показывает, как живут самые невезучие, а среднее их прячет.

замедленный процессор

приём моделирования бюджетного телефона на машине разработчика

перцентиль отклика

смотрим худшие проценты, а не среднее: среднее прячет медленных

Трафик, батарея, размер, секреты

Трафик считается легко и удивляет всех. Экран каталога: двадцать фотографий по 350 килобайт, шрифты 180, скрипты 420, ответы сервера 90 - итого 7690 килобайт, около 7,5 мегабайта за один заход. Триста заходов в месяц - 2,2 гигабайта только на просмотр каталога. Если те же фотографии отдавать сжатыми и под размер экрана, по 60 килобайт, выходит 1890 килобайт за заход и 0,54 гигабайта в месяц - в четыре раза меньше. Для человека на лимитном тарифе это его деньги.

Батарею и память на глаз не оценить, для них есть профилировщики - инструменты платформы, показывающие, на что именно уходят заряд и память. Проверяют расход в активной работе и особенно в фоне: фоновое определение местоположения или постоянное соединение способны съесть заряд за полдня, и в отзывах это выглядит как «жрёт батарею», без уточнения, что именно.

// Секреты - токены доступа, пароли, ключи - хранят в системном защищённом хранилище (Keychain у Apple, Keystore у Android), а не в обычных настройках приложения открытым текстом - оттуда их достанут на устройстве с полным доступом. Отдельная проверка - что именно уходит наружу: трафик приложения перехватывают и смотрят, не отправляются ли ПДн (персональные данные) в аналитику открытым текстом. Проверять это чтением кода бессмысленно, надо смотреть на реальные запросы.

вес экрана

сумма всего загруженного за заход; на тарифе это деньги пользователя

системное хранилище секретов

защищённое место для токенов вместо обычных настроек приложения

Как отвечать: «Почему нельзя мерить скорость только на флагмане?»

Потому что мощное железо прячет ровно те проблемы, которые ищешь. Я мерил один и тот же экран с искусственно замедленным процессором: отрисовка списка на полной скорости заняла 49 миллисекунд, а при замедлении вдесятеро - 288; пересчёт двухсот тысяч записей 63 миллисекунды против 760, то есть в двенадцать раз дольше. На телефоне разработчика эти 63 миллисекунды не заметит никто, а на бюджетном устройстве три четверти секунды подвисания на каждое действие - это уже отзывы «тормозит». Аудитория, особенно на Android, сидит на телефонах трёх-четырёхлетней давности с двумя-тремя гигабайтами памяти, там и память заканчивается быстрее, и приложение чаще выгружается из фона. Поэтому скорость я меряю по матрице реальных устройств и обязательно перцентилями, а не средним: среднее прячет самых невезучих, а именно они пишут отзывы. Ту же логику применяю к стабильности - доля сессий без падений перемножается, и 99,5% на сорока сессиях в месяц означают, что каждый пятый человек встретил краш. И к батарее с трафиком: их тоже проверяют на устройствах и тарифах аудитории, а не в идеальных условиях офиса.

Почему это сильный ответ: тезис подкреплён измерением с двумя разными нагрузками, объяснено, почему разница не видна на флагмане, и вывод распространён на стабильность, батарею и трафик с расчётом по пользователям.

На чём валят

• −Мерить скорость на флагмане: та же логика на слабом процессоре шла в 12 раз дольше.
• −Читать 99,5% сессий без падений как отличный результат - это 18% пострадавших за месяц.
• −Отмахиваться от зависаний «это же не падение» - замерший экран для человека хуже краша.
• −Не считать вес экрана: 7,5 мегабайта за заход превращаются в 2,2 гигабайта в месяц.
• −Хранить токены в обычных настройках приложения открытым текстом вместо системного хранилища.