User Testing

“If you want a great site, you’ve got to test. After you’ve worked on a site for even a few weeks, you can’t see it freshly anymore. You know too much. The only way to find out if it really works is to test it.”
— Steve Krug, Don’t Make Me Think: A Common Sense Approach to Web Usability

Topik bahasan:

Definisi User Testing
Aturan Dasar User Testing
Formative Evaluation

Penjelasan User Testing dalam bentuk video dapat diakses pada:

DEFINISI USER TESTING

User testing bukanlah pengujian terhadap user, tetapi user melakukan pengujian terhadap produk, dalam hal ini aplikasi, yang Anda bangun. Terdapat beberapa jenis test yang dilakukan oleh user, yaitu:

Evaluasi formatif (formative evaluation)
Studi lapangan (field study)
Eksperimen terkontrol (controlled experiment)

Perbandingan ketiga jenis test dapat dilihat pada tabel di bawah ini.

FORMATIVE EVALUATION	FIELD STUDY	CONTROLLED EXPERIMENT
Menemukan masalah untuk iterasi desain berikutnya	Menemukan masalah dalam konteks (keadaan/ suasana tertentu)	Menguji hipotesis (misalnya interface X lebih cepat dari interface Y)
Mengavaluasi prototipe atau implementasi	Mengevaluasi implementasi yang sudah dijalankan	Mengevaluasi implementasi yang sudah dijalankan
Di lab, dengan tugas-tugas yang ditentukan	Pada konteks nyata, pada tugas nyata	Dalam lingkungan terkontrol, dengan tugas yang ditentukan
Observasi kualitatif (masalah usability)	Kebanyakan berupa observasi kualitatif	Sebagian besar observasi kuantitatif (waktu, tingkat kesalahan, kepuasan)

Formative Evaluation

Tujuan formative evaluation adalah menemukan masalah usability untuk kemudian memperbaikinya dalam iterasi desain berikutnya. Formative evaluation tidak memerlukan hasil implementasi yang sudah sepenuhnya bekerja/berfungsi, tetapi dapat dilakukan pada berbagai prototipe. Jenis user test semacam ini biasanya dilakukan di lingkungan yang berada di bawah kendali, seperti kantor atau laboratorium usability. Anda bisa memilih tugas yang diberikan kepada user, yang umumnya realistis tetapi tidak palsu. Hasil formative evaluation sebagian besar adalah observasi kualitatif, biasanya daftar masalah usability.

Masalah utama dengan formative evaluation adalah Anda harus mengontrol terlalu banyak. Menjalankan tes di sebuah lingkungan lab dengan tugas-tugas yang Anda definisikan mungkin tidak cukup memberitahu Anda tentang seberapa baik sebuah interface bekerja dalam konteks nyata dengan tugas nyata.

Field Study

Sebuah field study dapat menjawab pertanyaan-pertanyaan pada formative evaluation, dengan benar-benar menerapkan implementasi yang sudah berjalan untuk user nyata, dan kemudian pergi ke lingkungan nyata dari user dan meng-observasi bagaimana mereka melakukannya.

Controlled Experiment

Tujuan controlled experiment adalah untuk menguji hipotesis yang terukur tentang satu atau lebih interface. Controlled experiment terjadi di bawah kondisi yang dikontrol secara hati-hati menggunakan tugas yang dirancang secara hati-hati — sering kali lebih hati-hati dari tugas-tugas pada formative evaluation. Hipotesis hanya dapat diuji dengan pengukuran usability secara kuantitatif, seperti waktu yang berlalu, jumlah error atau pemeringkatan (rating) subjektif.

ATURAN DASAR USER TESTING

Saat melaksanakan user testing, Anda harus dapat memastikan bahwa user yang melakukan test tidak berada dalam tekanan. Ada beberapa contoh tekanan yang sering terjadi saat user melakukan pengujian, misalnya:

Menunjukkan kecemasan
Merasa seperti test kecerdasan
Membandingkan diri dengang orang lain
Merasa bodoh di depan observer
Bersaing dengan orang lain

Hal ini alami dan wajar terjadi. User dapat dikatakan insecure (tidak merasa aman), karena pengaturan kondisi saat test bisa saja seperti ini: User duduk dalam sebuah sorotan, lalu diminta melakukan tugas-tugas yang tidak familiar pada interface yang juga tidak familiar, bahkan mungkin juga merupakan interface yang buruk. User berada di depan audiens yang asing, setidaknya ada satu experimenter, ditambah juga mungkin satu ruangan penuh observer dan ada kamera video.

Sangat wajar jika seorang user merasa cemas dan demam panggung. User bisa saja berpikir “Apakah saya melakukannya dengan benar?” atau “Apakah orang-orang ini berpikir saya bodoh karena tidak dapat mengerjakannya?”. Seorang user dapat menganggap user testing tersebut sebagai test psikologi atau lebih tepatnya test IQ, yang mungkin membuat user kuatir mendapatkan skor buruk. Kemudian harga diri mereka mungkin terluka, terutama jika mereka menyalahkan diri sendiri terhadap masalah yang dihadapi, bukan menyalahkan interface.

Aturan dasar etika dalam user testing adalah menghormati user sebagai orang cerdas dengan kebebasan kemauan dan perasaan.

Anda harus bisa memperlakukan user dengar hormat. Perlakuan ini dapat dilaksanakan dengan 5 cara, yaitu:

Time: Pengaturan waktu jangan sia-siakan waktu user
Comfort: Buatlah user merasa nyaman sepanjang pelaksanaan user teting
Informed consent: User harus diberi tahu semua informasi yang harus diketahuinya
Privacy: Privasi user harus dirahasiakan
Control: User berhak untuk berhenti kapan saja sepanjang pelaksanaan user testing.

Time
Anda harus menghargai user dengan tidak menyia-nyiakan waktunya. Hal ini dapat dilakukan dengan mempersiapkan segala sesuatu yang Anda bisa dan jangan buat user harus melewati rintangan yang sebanarnya tidak Anda uji. Jangan membuat user menginstall software atau me-load file-file test misalnya, kecuali test Anda memang mengukur usability dalam proses instalasi atau proses loading file.

Comfort
Anda harus melakukan semua yang Anda bisa untuk membuat user nyaman, untuk mengimbangi tekanan psikologis dari user test.

Informed Consent
Anda harus memberikan informasi lengkap tentang test yang perlu atau ingin diketahui oleh user, selama informasi tersebut tidak membuat bias dalam proses test. Jangan menyembunyikan hal-hal dari user yang seharusnya perlu diketahui.

Privacy
Anda harus dapat menjaga privasi user hingga tingkat maksimum. Jangan melaporkan kinerja user saat melakukan user test dengan cara yang memungkinkan user diidentifikasi secara pribadi.

Control
Kendali dalam pelaksanaan user testing ada pada user. Hal ini tidak dalam arti bahwa mereka menjalankan user test dan memutuskan apa yang harus dilakukan selanjutnya. Namun, dalam arti bahwa keputusan akhir apakah akan berpartisipasi dalam test atau tidak, tetap menjadi hak user, selama eksperimen berlangsung. Hanya karena user menandatangani formulir persetujuan atau duduk di ruangan bersama Anda, tidak berarti bahwa mereka berkomitmen untuk seluruh test. Seorang user memiliki hak untuk menghentikan test dan pergi kapan saja, tidak peduli seberapa merepotkannya bagi Anda.

Perlakuan menghormati user dalam proses user testing harus dilakukan dalam 3 tahap kegiatan, yaitu:

Sebelum test
Saat test
Setelah test

PERLAKUAN SEBELUM TEST

Terdapat beberapa hal yang perlu dilakukan sebelum test dimulai, seperti yang dirangkum dalam tabel di bawah ini.

Time	Lakukan pilot test untuk semua materi dan tugas yang akan dilakukan oleh user.
Comfort	Memberikan penjelasan kepada user, misalnya [1] “Kami sedang menguji sistem; kami tidak sedang menguji Anda.” [2] “Kesulitan apapun yang Anda temui adalah kesalahan sistem. [3] “Kami membutuhkan bantuan Anda untuk menyelesaikan masalah ini.”
Privacy	Menyatakan “Hasil test yang Anda lakukan sepenuhnya adalah rahasia.”
Information	Anda harus menjelaskan tujuan Anda melakukan user testing; menginformasikan jika terdapat rekaman audio, video dan pengamatan lain. Anda juga perlu menjawab setiap pertanyaan user kecuali bisa menjadi bias terhadap proses test.
Control	Anda harus menyampaikan “Anda dapat berhenti kapan saja sepanjang test berlangsung.”

Jauh sebelum user pertama Anda hadir, Anda harus melakukan PILOT TEST untuk keseluruhan test: semua kuesioner, briefing, tutorial dan tugas-tugas yang akan diberikan. Pilot test berarti Anda membuat beberapa orang (biasanya kolega Anda) bertindak sebagai user dalam gladi resik user test. Pilot test sangat penting untuk menyederhanakan dan mengatasi bug dari bahan dan prosedur test Anda.

Pilot test penting untuk setiap user test. Pilot test memberi Anda kesempatan untuk:

menghilangkan waktu yang terbuang,
merampingkan bagian test,
memperbaiki briefing atau materi pelatihan yang membingungkan,
menemukan tugas yang tidak mungkin dikerjakan atau sia-sia, dan
memberi Anda kesempatan untuk mempraktikkan peran Anda sebagai experimenter.

Setelah melakukan pilot test, Anda bersiap untuk menerima kedatangan user. Ketika seorang user muncul, Anda harus memberi mereka penjelasan terlebih dahulu, memperkenalkan tujuan aplikasi dan tujuan test.

Untuk membuat user nyaman, Anda harus selalu mengatakan hal-hal berikut (dalam beberapa bentuk/ dalam bahasa lain):

“Ingatlah bahwa kami sedang menguji sistem komputer. Kami tidak menguji Anda.” (Comfort)
“Sistem ini mungkin memiliki masalah di dalamnya yang membuatnya sulit digunakan. Kami membutuhkan bantuan Anda untuk menemuka masalah-masalah itu.” (Comfort)
“Hasil tes yang Anda lakukan akan sepenuhnya dirahasiakan.” (Privacy)
“Anda dapat menghentikan tes dan pergi kapan saja.” (Control)

Faktor rasa nyaman bagi user juga diciptakan dengan cara Anda memberi tahu user jika test akan direkam dalam bentuk audio, video atau ditonton oleh observer secara tersembunyi. Setiap observer yang hadir di dalam ruangan juga harus diperkenalkan kepada user.

Pada akhir briefing, Anda harus bertanya kepada user, “Apakah Anda memiliki pertanyaan yang bisa saya jawab sebelum kita mulai?” Cobalah menjawab pertanyaan apapun yang disampaikan user. Terkadang seorang user akan mengajukan pertanyaan yang dapat membuat bias dalam test, misalnya “Apa yang dilakukan tombol itu?” Anda harus menjelaskan mengapa Anda tidak bisa menjawab pertanyaan itu dan berjanji menjawabnya setelah test selesai.

PERLAKUAN SAAT TEST

Saat test berlangsung, berikut adalah hal-hal yang perlu Anda perhatikan dan lakukan.

Time	Hilangkan tugas-tugas yang tidak perlu
Comfort	[1] Ciptakan suasana tenang, santai/ rileks [2] Beristirahat ketika ada sesi panjang [3] Jangan pernah menunjukkan sikap kecewa di depan user [4] Berikan tugas satu per satu [5] Tugas pertama harus mudah untuk pengalaman sukses di awal
Privacy	Bos dari user seharusnya tidak menyaksikan test
Information	Jawablah pertanyaan user asalkan tidak bias
Control	[1] User dapat berhenti pada sebuah tugas dan melanjutkan ke tahap lain [2] User dapat berhenti sepenuhnya

Selama test berlangsung, atur lingkungan test untuk membuat user nyaman. Anda harus dapat menjaga agar atmosfir tetap tenang, santai dan bebas dari gangguan. Jika sesi test cukup panjang, sediakan toilet, air, coffee break atau hanya sekedar kesempatan untuk berdiri dan meregangkan tubuh.

Terdapat beberapa sikap yang perlu Anda perhatikan selama proses test berlangsung, yaitu:

Tidak menunjukkan sikap kecewa ketika user mengalami kesulitan karena user akan merasakannya sebagai kekecewaan dalam kinerja mereka, bukan pada user interface.
Jangan membanjiri user dengan banyak tugas. Beri user satu tugas pada satu waktu.
Idealnya, tugas pertama harus menjadi tugas pemanasan yang mudah, untuk memberi user pengalaman sukses awal. Hal ini akan meningkatkan keberanian mereka (dan Anda) untuk melalui tugas-tugas sulit yang akan menunjukkan lebih banyak masalah usability.

Sepanjang test berlangsung, Anda juga wajib menjawab pertanyaan user selama tidak menjadi bias pada test. Jaga agar user tetap memegang kendali. Jadi, jika user merasa bosan dengan sebuah tugas, biarkan mereka berhenti dan melanjutkan ke tugas lain. Jika mereka ingin berhenti dari keseluruhan test, bayar mereka dan biarkan mereka pergi.

PERLAKUAN SETELAH TEST

Ketika kegiatan user testing telah selesai dilakukan, masih terdapat beberapa hal yang perlu Anda perhatikan, untuk disampaikan kepada user, yang dirangkum dalam tabel di bawah ini.

Comfort	Katakan apa yang telah dibantu oleh user
Privacy	[1] Jangan mempublikasikan informasi yang dapat mengidentifikasi user [2] Jangan tampilkan video atau audio tanpa izin user
Information	Jawab pertanyaan user yang sebelumnya harus Anda tunda untuk menghindarkan bias saat test berlangsung

Setelah test selesai, Anda harus berterima kasih kepada user atas bantuan mereka dan beritahu bagaimana mereka telah membantu. Kemudian, jika Anda menyebarkan data hasil test oleh user, jangan publikasikan dengan cara yang memungkinkan user diidentifikasi secara individual. Jika Anda mengumpulkan rekaman video atau audio dari user test, jangan tampilkan hasil rekaman di luar grup Anda tanpa izin tertulis dari user.

FORMATIVE EVALUATION

Formative evaluation adalah evaluasi yang dapat dilakukan sepanjang pengembangan aplikasi, tidak harus saat produk sudah selesai dibangun. Jadi, Anda dapat menguji prototipe atau hasil implementasi yang sudah selesai. Tujuan dari formative evaluation adalah menemukan masalah terkait usability untuk iterasi desain berikutnya. Evaluasi ini adalah salah satu bentuk test yang dilakukan bersama dengan user.

LANGKAH-LANGKAH DASAR FORMATIVE EVALUATION

Langkah-langkah untuk melakukan formative evaluation adalah:

Temukan beberapa user, yang harus mewakili kelas target user
Beri beberapa tugas untuk setiap user dan harus mewakili tugas-tugas penting
Lihat bagaimana user melakukan tugas-tugas tersebut.

PERAN DALAM FORMATIVE EVALUATION

Peran-peran yang perlu ada saat pelaksanaan formative evaluation adalah:

User
Fasilitator
Observer

USER

Peran utama user adalah melakukan tugas untuk menggunakan interface. Ketika user melakukan tugas, mereka juga harus berusaha untuk THINK ALOUD: mengungkapkan secara verbal apa yang mereka pikirkan saat menggunakan interface. Anda harus mendorong user untuk mengatakan hal-hal seperti “Oke, sekarang saya sedang mencari tempat untuk mengatur ukuran font, biasanya ada di toolbar, oh tidak, hmm, mungkin di menu Format…”

Think aloud memberi Anda (observer) sebuah jendela ke dalam proses berpikir user, sehingga Anda dapat memahami apa yang coba mereka lakukan dan apa yang mereka harapkan. Sayangnya, think aloud masih terasa asing bagi kebanyakan orang. Hal ini bisa mengubah perilaku user, membuat user lebih hati-hati dan terkadang mengganggu konsentrasi mereka. Sebaliknya, ketika sebuah tugas menjadi sulit, user terserap ke dalam konsentrasi menyelesaikan tugas dan mungkin menjadi bisu dan lupa untuk melakukan think aloud. Salah satu peran fasilitator adalah mendorong user agar think aloud.

Salah satu solusi untuk masalah think aloud adalah interaksi konstruktif, dimana dua user bekerja pada tugas-tugas secara bersama (menggunakan satu komputer). Dua user lebih cenderung berkomunikasi secara alami satu sama lain, menjelaskan bagaimana mereka berpikir bagaimana mengerjakan dan apa yang harus dicoba. Namun, iteraksi konstruktif membutuhkan user dua kali lebih banyak dan mungkin terpengaruh secara negatif oleh dinamika sosial (misalnya satu user dominan memaksa menggunakan keyboard/ menjadi menguasai situasi).

Dalam pelaksanaan formative evaluation, Anda dapat secara fleksibel menentukan cara untuk mencapai tujuan test. Harap mempertimbangkan waktu dan biaya yang tersedia untuk melakukan serangkaian kegiatan ini, termasuk juga mempertimbangkan kondisi user. Jika biaya dan jumlah user tersedia, Anda dapat melakukan interaksi konstruktif. Namun, jika user ternyata sudah terbiasa dengan think aloud, Anda cukup menggunakan teknik tersebut.

FASILITATOR

Fasilitator (disebut juga experimenter) adalah pemimpin user test. Fasilitator melakukan pengarahan, memberikan tugas kepada user dan umumnya berfungsi sebagai suara tim development selama test, karena developer mungkin mengamati test, tetapi harus selalu dalam keadaan tutup mulut.

Salah satu pekerjaan utama fasilitator adalah mengajak user untuk think aloud, biasanya dengan mengajukan pertanyaan-pertanyaan umum. Fasilitator juga dapat melanjutkan sesi. Jika user benar-benar terjebak dalam sebuah tugas, fasilitator dapat secara progresif memberikan lebih banyak bantuan, misalnya “Apakah Anda melihat sesuatu yang mungkin dapat membantu Anda?”, dan kemudian “Apa yang menurut Anda dilakukan tombol tersebut?”

Ada kalanya user dalam kesulitan ketika melakukan formative evaluation. Berikanlah bantuan, tetapi hanya jika:

Anda sudah mencatat masalah usability, dan
tampaknya tidak mungkin user akan keluar dari masalah itu sendiri, dan
mereka harus melepaskan diri agar dapat melanjutkan ke bagian lain dari tugas yang ingin Anda uji.

Ingatlah bahwa setelah Anda menjelaskan sesuatu, Anda kehilangan kesempatan untuk mencari tahu apa yang akan dilakukan sendiri oleh user.

OBSERVER

Sementara user melakukan think aloud dan fasilitator melatih user untuk think aloud, setiap observer di ruangan harus DIAM. Jangan menawarkan bantuan apapun dan jangan mencoba menjelaskan tentang interface. Duduk saja, gigit lidah Anda dan tonton/ lihat saja. Anda mencoba untuk melihat bagaimana user biasa akan berinteraksi dengan interface.

Selama kegiatan berlangsung, buat diri Anda sibuk dengan membuat banyak catatan. Apakah yang harus Anda catat? Sebanyak yang mungkin bisa dicatat. Namun, fokus Anda terutama pada insiden yang kritis, yang merupakan momen yang sangat mempengaruhi usability, baik dalam kinerja tugas (efisiensi atau tingkat kesalahan) atau dalam kepuasan user. Kebanyakan insiden kritis adalah negatif. Menekan tombol yang salah adalah insiden kritis, juga berulang kali mencoba fitur yang sama untuk menyelesaikan satu tugas.

User dapat menarik perhatian pada insiden kritis dengan think aloud, dengan komentar seperti “mengapa melakukan itu?” atau “@%!@#$!”
Insiden kritis bisa juga bersifat positif. Anda juga harus membuat catatan atas kejutan menyenangkan ini. Insiden kritis memberi Anda daftar masalah-masalah usability potensial yang harus Anda fokuskan pada putaran berikutnya dari desain iteratif.

MEREKAM OBSERVASI

Beberapa peralatan yang Anda butuhkan dalam proses merekam sebuah kegiatan observasi adalah:

Pena dan buku catatan
Rekaman audio
Rekaman video

Pena dan Buku Catatan
Buku catatan biasanya adalah peralatan yang terbaik meskipun sulit mencatat keseluruhan observasi. Memiliki banyak observer membuat catatan menjadi membantu.

Rekaman Audio dan Video
Rekaman audio dan video bagus untuk menangkap proses think aloud oleh user, ekspresi wajah, dan bahasa tubuh pengguna. Video juga bermanfaat ketika Anda ingin menempatkan observer di ruang terpisah dan menggunakan TV untuk menonton test.

Menempatkan observer pada ruang terpisah dengan user membuat:

[+] User merasa lebih sedikit mata yang tertuju pada mereka (meskipun kamera video adalah mata lain yang dapat membuat user lebih sadar diri, karena kamera membuat catatan permanen),
[+] Observer tidak bisa berperilaku tidak pantas di depan user, dan layar TV besar berarti lebih banyak observer dapat menonton.
[-] Observer mungkin tidak memperhatikan test. Ketika user menemukan masalah usability, observer mulai berbicara tentang cara memperbaiki masalah tersebut dan mengabaikan sisa test.

Menempatkan observer di ruangan yang sama dengan test dan user memaksa observer untuk tetap diam dan memperhatikan.

Penempatan observer memiliki pengaruh dalam memastikan evaluasi berjalan dengan baik, sehingga Anda harus jeli menempatkan observer pada ruangan yang sama dengan user atau pada ruang berbeda. Masing-masing pilihan memiliki nilai lebih dan kurang masing-masing.

Video juga berguna untuk tes retrospektif — menggunakan rekaman video untuk menanyai user segera setelah test. Adalah hal yang mudah untuk secara cepat memaju-mundurkan rekaman, berhenti pada insiden kritis, dan bertanya kepada user apa yang mereka pikirkan pada saat insiden kritis tersebut. Masalah dengan rekaman audio dan video adalah ia menghasilkan terlalu banyak data untuk ditinjau sesudahnya. Beberapa halaman catatan lebih mudah untuk di-scan dan menemukan masalah usability.

Dalam penggunaan berbagai media untuk perekaman observasi, Anda tidak harus memilih satu yang terbaik, tetapi dapat menggunakan beberapa cara. Alasannya adalah kombinasi dari beberapa cara dapat membuat hasil observasi menjadi lebih lengkap, sesuai karakteristik masing-masing cara.

KESIMPULAN

Formative user testing mencoba mengungkap usability problem untuk diperbaiki dan disempurnakan pada iterasi berikutnya.
Perlakukan user dengan hormat.
Fasilitator dan observer harus menjalankan perannya dengan benar untuk memaksimalkan nilai dari test.

REFERENSI

MIT Open Courseware, User Interface Design and Implementation, User Testing.
Why Are Contextual Inquiries So Difficult?. http://www.uxmatters.com/mt/archives/2012/06/why-are-contextual-inquiries-so-difficult.php
Feature image: Photo by Adam Wilson on Unsplash