Dlaczego cykliczne badanie użyteczności ma sens

Jednymi z najczęściej słyszanych pytań w mojej pracy są: "ilu użytkowników powinniśmy przebadać?" oraz "ile sesji badawczych powinniśmy przeprowadzić?". Z połączenia tych wątpliwości wyłania się dodatkowe pytanie: czy lepiej zbadać 15 użytkowników w jednym cyklu, czy lepiej zrobić 3 sesje badawcze po 5 użytkowników? Spróbujmy znaleźć odpowiedź.


Liczba badanych użytkowników w trakcie sesji badawczej jest pochodną dwóch czynników:

  • (PB) prawdopodobieństwa wystąpienia błędu w serwisie (które bardzo trudno jest określić. Dużo informacji na ten temat można znaleźć na blogu Jeffa Sauro),
  • (PW) pewności (czy też prawdopodobieństwa) wykrycia tego błędu.

W zależności od tego, jakie przyjmiemy założenia otrzymamy inną wielkość próby badawczej. Przykładowo:

  1. Jeżeli PB = 0,5 oraz PW = 0,85 wówczas musimy zbadać 3 użytkowników.
  2. Jeżeli PB = 0,3 oraz PW = 0,85 wówczas musimy zbadać 5 użytkowników.
  3. Jeżeli PB = 0,1 oraz PW = 0,85 wówczas musimy zbadać 18 użytkowników.

Szczególną uwagę powinna przyciągnąć 2 zależność, ponieważ jest to „słynna” teoria Nielsena na temat liczby użytkowników w badaniu. Słynna, czyli często powtarzana bez dokładnego przeczytania i zrozumienia. Pozwalam sobie na taką dygresję z dwóch powodów:

  • Nielsen nigdy nie powiedział, że wystarczy przebadać tylko 5 osób. To jest tylko pierwsza część zdania z jego artykułu. Pełne stwierdzenie brzmi: „Najlepsze wyniki pochodzą z testowania 5 użytkowników (w jednej sesji) i przeprowadzenia tak wielu sesji badawczych na ile Cię stać„,
  • Nielsen przyjął w swoim modelu założenie, że PB = 0,3 , co przy współczesnych, mocno rozbudowanych serwisach, jest mało prawdopodobne. PB kształtuje się obecnie raczej pomiędzy 0,1 a 0,2.

Oczywiście w skrajnym przypadku, jeżeli stać nas tylko na jedną sesję badawczą, lepiej przeprowadzić jedno badanie niż w ogóle. Widać jednak, że Nielsen zachęca twórców serwisów do jak najczęstszego powielania testów.

Ile zatem sesji badawczych powinniśmy przeprowadzić i dlaczego testowanie cykliczne jest lepsze?

W celu udzielenia odpowiedzi prześledźmy następujący przykład. Wyobraźmy sobie, że mamy do wyboru 2 opcje:

  1. Przeprowadzenie jednego cyklu badań z 15 użytkownikami (zgodnie z teorią Nielsena, taka liczba pozwala wykryć 100% błędów w serwisie przy założeniu, że PB = 0,3).
  2. Przeprowadzenie 3 cykli badawczych po 5 osób.

Dodatkowo przyjmijmy następujące założenia:

  • PB = 0,3,
  • PW = 0,85,
  • w trakcie wykonywania poprawek projektant popełnia nowe błędy w liczbie 25% wcześniej wykrytych – w zaokrągleniu do liczby całkowitej (np. jeżeli wykryto w trakcie badania 20 błędów to projektant popełni 5 nowych),
  • w pierwszym oddanym do badania prototypie jest 100 błędów.

Jeżeli zastosujemy pierwsze podejście z 15 użytkownikami, wówczas znajdziemy 100 błędów, a przy ich poprawianiu popełnionych zostanie 25 nowych, których nie wykryjemy, ponieważ nie prowadzimy dalszych badań.
W drugim przypadku będziemy mieli 3 cykle badawcze, których wyniki są następujące:

Cykl 1: wykrytych zostanie 85 błędów (PW = 0,85), pozostanie 15 błędów, projektant popełni 21 błędów, łączna liczba błędów wyniesie 36,

Cykl 2: wykrytych zostanie 30 błędów (PW = 0,85), pozostanie 6 błędów, projektant popełni 8 błędów, łączna liczba błędów wyniesie 14,

Cykl 3: wykrytych zostanie  12 błędów (PW = 0,85), pozostaną 2 błędy, projektant popełni 3 błędy, łączna liczba błędów wyniesie 5.

Zestawienie rezultatów obu podejść prezentuje poniższy rysunek.

Rysunek przedstawiający porównanie wyników dla jednego i kilku cykli badawczych
Rysunek przedstawiający porównanie wyników dla jednego i kilku cykli badawczych

Gdybyśmy teraz spytali, które podejście jest lepsze  – odpowiedź wydaje się dość oczywista.

Podsumowanie

Badania cykliczne z mniejszą ilością użytkowników są skuteczniejsze od jednorazowych testów na licznej próbie. Jeżeli tylko istnieje możliwość zastosowania takiego podejścia, to należy je rozważyć. Wbrew wszelkim obawom, podejście cykliczne nie musi być znacząco droższe, a jednocześnie przyniesie o wiele większe korzyści. Należy również pamiętać, że podejście cykliczne dotyczy jednorodnej grupy docelowej. Jeżeli mamy co najmniej kilka grup to powinniśmy prowadzić testy w każdej z nich z osobna.

Damy Ci znać o nowych wpisach

(publikujemy ok. 2 artykuły miesięcznie).

Komentarze (1)

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *