Какие метрики используются для измерения удобства использования (usability) продукта?

«Какие метрики используются для измерения удобства использования (usability) продукта?» — вопрос из категории Основы тестирования, который задают на 10% собеседований QA Тестировщик. Ниже — развёрнутый ответ с разбором ключевых моментов.

Ответ

Удобство использования (usability) оценивается по пяти основным критериям, каждый из которых может быть измерен количественно или качественно:

  1. Эффективность (Efficiency): Время или количество шагов, необходимых пользователю для выполнения задачи.
    • Метрика: Среднее время выполнения ключевой задачи (например, оформление заказа за 2 минуты).
  2. Продуктивность ошибок (Error Tolerance): Количество и серьезность ошибок, совершаемых пользователем, и время на их исправление.
    • Метрика: Количество ошибочных кликов на сессию.
  3. Запоминаемость (Memorability): Насколько легко пользователь возобновляет работу с интерфейсом после перерыва.
    • Метрика: Время выполнения задачи при повторном входе через неделю.
  4. Обучаемость (Learnability): Насколько быстро новичок может освоить базовые операции.
    • Метрика: Время достижения первого успешного завершения задачи.
  5. Удовлетворенность (Satisfaction): Субъективное восприятие пользователя.
    • Метрика: Оценка по шкале System Usability Scale (SUS) или Net Promoter Score (NPS).

Пример автоматизированной проверки эффективности:

import time

def test_task_completion_time(user_session):
    start_time = time.time()
    # Симуляция действий пользователя
    user_session.navigate_to_checkout()
    user_session.fill_payment_details()
    user_session.confirm_order()
    completion_time = time.time() - start_time

    assert completion_time < 120, f"Задача заняла {completion_time:.1f} сек, что превышает лимит в 120 сек"