Użytkownik wepchnięty pod lupę – o realizmie badań usability

Kiedy na warsztatach czy konferencjach opowiadamy o badaniach z użyciem eye trackingu, kilka pytań pada z sali szczególnie często

  • Czy w trakcie badań użytkownicy nie zachowują się w sposób nienaturalny?
  • Czy nie peszy ich eye tracker i cała sytuacja badania?
  • Czy nie jest tak, że, świadomie lub nie, kierują swój wzrok w inny sposób niż normalnie, wykonują inne działania?

Pytania ze wszech miar uzasadnione. W końcu, żeby przeprowadzić dokładne badanie użyteczności czy user experience z użyciem eye trackingu, musimy w jakiś sposób zaprosić użytkowników do uczestnictwa. Tym samym zaś umieszczamy ich w pewnej sytuacji, w której zdają sobie sprawę, że są obserwowani.
Wydaje się, że na dzień dzisiejszy nie ma przed tym ucieczki. Istnieją co prawda narzędzia pozwalające „śledzić” działania użytkownika bez jego wiedzy (patrz np. clicktale.com), ale dają one tylko czyste dane na temat wykonywanych akcji, pozostawiając kwestie motywacji, celu użytkownika czy powodów napotykanych problemów w sferze domysłów. Nie wspominając o tym, że na eye tracking nie ma wtedy szans.
Jedno jest jednak pewne: obserwacja użytkowników wykonujących znane nam zadania w serwisie to bezcenne źródło informacji o jakości serwisu.
Pytanie więc, jak przygotować badanie, żeby zebrać jak najwięcej spostrzeżeń, które jednak będą wiarygodne?

Z naszego doświadczenia wynika, że kluczem do sukcesu jest odpowiednie przygotowanie badania.

Niezależnie od tego czy zlecamy badanie agencji czy robimy niskobudżetowy test na własne potrzeby, warto pamiętać o kilku filarach dobrego badania z użytkownikami:

  • Spójny scenariusz

Wiele powstało wytycznych formułowania zadań do testów użyteczności, jednak wciąż zbyt mało podkreśla się, jak ważne jest powiązanie między nimi. Tymczasem najlepszym sposobem na odciągnięcie uwagi badanego od faktu badania, jest ulepienie z zadań realistycznej historii, w którą badany wchodzi coraz mocniej z każdym zadaniem. Zamiast rzucać suche: „proszę sprawdzić, jak złożyć reklamację kamery video” powiedzmy: „Okazało się, że produkt, który kupiłeś, dotarł uszkodzony. Zobacz, jak złożyć reklamację”. Ciągłość scenariusza pozwala użytkownikowi spojrzeć na niego jak na realną sytuację, która motywuje do działania, a nie jak na sztuczny sprawdzian ze znajomości serwisu.

  • „Życiowa” szczegółowość zadań

Odpowiednie zbalansowanie szczegółowości zadań potrafi czasem zaważyć o realizmie badania. Zadania zbyt ogólne, abstrakcyjne powodują zagubienie użytkownika, który czuje, że „coś ma zrobić”, ale nie jest pewny „co”. Z kolei polecenia szczegółowe w stylu „Kup 10 kg kabaczków” wywołują podświadomy sprzeciw („Po co mi tyle kabaczków?”, „Przecież nie lubię tego warzywa” lub co gorsza „Co to są kabaczki?”). Dobre zadanie to takie, które stawia przed badanym konkretny problem, a jednocześnie nie umieszcza go bez powodu w obcej, niezrozumiałej sytuacji. Wtedy użytkownik nagle zapomina o moderatorze i dziwnym sprzęcie śledzącym wzrok, a zaczyna po prostu robić zakupy.

  • Badanie w samotności

Jeśli nie potrzebujemy barwnych komentarzy wygłaszanych przez użytkowników w trakcie badania, rozważmy czy nie warto zostawić ich sam na sam z zadaniami, bez moderatora. Zredukowany jest wówczas problem przesadnych starań o wykonanie zadania (bo przecież moderator ładnie poprosił i teraz czeka). Nie ma też „zastanawiania się na głos”, które zmniejsza wiarygodność twardych wyników badania.

  • Odpowiednia długość badania

Czas trwania badania to kolejny czynnik wpływający na jego realizm. Zbyt krótka sesja sprawia, że użytkownik nie zdąży wciągnąć się w temat, z kolei zbyt długa zmęczy go i spowoduje dekoncentrację. Przyjęło się, że badanie jednego użytkownika nie powinno trwać więcej niż godzinę.
Rzecz jasna, przygotowanie to dopiero połowa drogi do realistycznego badania – równie ważna jest właściwa moderacja. W praktyce jednak takie właściwe przygotowanie badania znacznie ułatwia jego właściwe prowadzenie, a nawet interpretację wyników.
Więcej o badaniach usability na stronie Symetrii

Damy Ci znać o nowych wpisach

(publikujemy ok. 2 artykuły miesięcznie).

Komentarze (2)

  • „Badanie w samotności” – hmm, propozycja dość ciekawa, jednak zwróćcie uwagę na to, że badania eksperymentalne (bo stąd się wzięła nasza obserwacja) są szczególnym typem badań psychologicznych, które wymagają struktury (Metodologia badań psychologicznych, J. Brzeziński) gdyż wtedy są skuteczniejsze. A jak utrzymać strukturę bez odpowiedniej procedury i kierowania?
    W skrócie powiedział bym tak: „tylko psycholodzy mogą prowadzić prawidłowe i wiarygodne badania na użytkownikach”, większość osób nie zdaje sobie sprawy z błędów jakie popełnia w czasie moderacji badań;)

  • Co do struktury badań – to prawda, czasem konieczna jest ingerencja moderatora. Nie znaczy to jednak, że musi on być cały czas fizycznie obecny. Tutaj chodzi przede wszystkim o przynajmniej pozorne usunięcie czynnika „patrzenia zza ramienia” w trakcie wykonywania zadań. Solo-testy mają też swoje zalety dla badań eye tracking, ale to już inny temat.
    Co do stwierdzenia „tylko psycholodzy…” – bez wątpienia wiedza psychologiczna jest tu ważna, choć kłóciłbym się, że bardziej kluczowa jest ona dla prawidłowego przygotowania badania niż samej moderacji, gdzie w grę wchodzi przede wszystkim doświadczenie i wyczucie.
    Stąd też pojawiła się w tekście wzmianka o „badaniach w samotności”. Jeśli nie umiemy moderować, lepiej pozostać obserwatorem 🙂

Dodaj komentarz

Twój adres email nie zostanie opublikowany. Pola, których wypełnienie jest wymagane, są oznaczone symbolem *