Design Testing [1]

A good user experience design process never ends.
Russ Unger

PENGANTAR

Setelah sebelumnya telah melakukan Prototyping, maka sekarang Anda perlu mengetahui teknik-teknik yang akan membantu Anda dalam mengumpulkan informasi dari user tentang desain atau elemen desain tertentu.

MEMILIH PENDEKATAN TESTING

Pendekatan pengujian yang Anda lakukan akan memengaruhi jenis keterampilan yang Anda butuhkan, jenis akses ke user yang diperlukan, dan ruang serta software yang diperlukan untuk melakukan penelitian Anda. IKutkan lebih dari satu pendekatan jika Anda punya waktu dan anggaran karena masing-masing pendekatan memiliki kekuatan dan kelemahannya sendiri, sehingga menggabungkan dua pendekatan membantu Anda membuat gambaran yang lengkap.

Berikut adalah beberapa keputusan yang perlu Anda buat untuk supaya selesai dengan jenis data yang tepat untuk masalah yang coba Anda selesaikan.

Qualitative Research vs Quantitative Research

Pendekatan penelitian sering digambarkan sebagai kuantitatif atau kualitatif. Penelitian kuantitatif difokuskan pada data numerik dan dimaksudkan untuk memberikan kepercayaan tinggi, hasil yang berulang di antara kelompok user target Anda. Itu bergantung pada keikutsertaan sejumlah user dari satu grup (sampel) yang cukup besar sehingga temuan dari penelitian ini dapat digunakan untuk membuat kesimpulan tentang cara user group secara keseluruhan akan merespons, dalam suatu rentang kesalahan. Secara keseluruhan, pendekatan secara kuantitatif merupakan pendekatan penelitian yang lebih ilmiah, dengan formalitas terhadap desain dan analisis pengujian. Pendekatan ini berfokus pada penilaian desain saat ini, khususnya, terhadap iterasi lain dari website, terhadap pesaing, atau terhadap serangkaian benchmark.

Melakukan penelitian kuantitatif berarti melibatkan lebih banyak peserta untuk memperhitungkan variasi yang akan Anda temukan dari individu ke individu, seperti kecepatan pengetikan, keakraban dengan situs serupa, dan sebagainya. Survey adalah contoh metode pengumpulan informasi yang dapat diperluas ke audiens yang lebih besar, menghasilkan data kuantitatif.

Penelitian kualitatif, di sisi lain, tidak terfokus pada tingkat kepercayaan dan pengulangan, tetapi lebih pada mendapatkan konteks dan wawasan tentang perilaku user. Hal ini bergantung pada interpretasi desainer atas temuan, intuisi, dan akal sehat. (Contextual Inquiry yang pernah dibahas sebelumnya adalah contoh Qualitative Research). Pendekatan kualitatif memungkinkan keterbukaan terhadap pengujian yang kondusif untuk mengeksplorasi ide dan mendapatkan wawasan; diskusi dengan user sama pentingnya dengan performansinya. Fokus pendekatan ini adalah peningkatan desain saat ini, dimana Anda mendapatkan wawasan dan reaksi terhadap apa yang disajikan dengan tujuan menciptakan ide.

In-Person Research vs Remote Research

Terdapat metode-metode penelitian yang dapat dilakukan secara langsung, tetapi ada juga beberapa yang dapat dilakukan dengan baik dari rumah atau kantor Anda. Penelitian ini disebut penelitian jarak jauh, dan menjadi semakin efektif dengan ketersediaan tools, perlengkapan, dan teknik baru.

Berikut adalah beberapa faktor yang perlu dipertimbangkan ketika memutuskan apakah akan melakukan penelitian secara langsung atau jarak jauh.

Konteks lingkungan.
Dengan melakukan penelitian dari jarak jauh, Anda akan kehilangan sebagian konteks tentang lingkungan mereka. Bahkan jika Anda meminta mereka membuat beberapa webcam untuk melihat ruang mereka, ada hal-hal yang mungkin tidak dapat Anda temukan dibanding melihat langsung. Misalnya, mendapatkan wawasan dengan melihat bagaimana mereka mengajukan formulir tertentu di meja mereka.
Konteks kebutuhan.
Ada manfaat menggunakan Remote Research terkait konteks kebutuhan. Jika Anda menguji website yang sudah tersedia dan digunakan, Anda dapat memperoleh informasi kontekstual penting dengan segera merekrut user yang berkunjung karena alasan atau kesadaran alami mereka sendiri. Aplikasi seperti Ethnio misalnya, dapat mencegat user (Intercept) yang berkunjung ke website dan bertanya apakah mereka tertarik untuk berpartisipasi dalam penelitian. Pengunjung yang memenuhi syarat berdasarkan proses screening yang dilakukan kemudian diarahkan ke fasilitator yang meminta mereka untuk berpartisipasi dalam Interview atau Usability Test. Ini disebut time-aware research (penelitian sadar-waktu) dan memiliki manfaat besar termasuk user yang sebenarnya yang melakukan tugas alami, yang memberikan informasi yang sangat berharga tentang konteks kebutuhan mereka. In-Person Research sering kali tidak memiliki elemen “just-in-time” (tepat waktu) yang berguna ini.
Akses.
Ini adalah area di mana Remote Research sering membuktikan pendekatan terbaik. Menjadwalkan In-Person Research cenderung membutuhkan lebih banyak waktu, baik untuk fasilitator maupun peserta. Remote Research mengurangi waktu untuk perjalanan, penjadwalan yang semrawut dan masalah lain yang dapat menyebabkan jadwal pertemuan terlewat. Jadi, Remote Research adalah langkah dengan komitmen yang lebih rendah untuk menjangkau sejumlah besar peserta. Jika user yang menjadi target Anda berada di negara lain atau jika mereka memiliki jadwal yang padat, Remote Research dapat memberi Anda akses yang lebih baik dan mendorong tingkat partisipasi yang lebih tinggi.
Biaya.
Remote Research sering dianggap lebih murah daripada In-Person Research. Namun, sebenarnya tidak selalu begitu karena tools dan perlengkapan Remote Research membutuhkan biaya, dan Anda masih perlu merencanakan biaya untuk perencanaan penelitian, merancang pengujian, perekrutan, biaya kompensasi, dan analisis. Namun, Remote Research telah memangkas biaya perjalanan dan waktu yang terbuang ketika jadwal kacau.

Pertimbangan untuk Melakukan Remote Research

Jika Anda memutuskan untuk menyelenggarakan penelitian secara jarak jauh, berikt beberapa langkah yang harus Anda masukkan dalam perencanaan Anda.

Pilih tools dengan hati-hati.
Tools yang Anda pilih harus jelas membantu Anda mencapai tujuan penelitian Anda secara keseluruhan. Tools apa pun yang Anda pertimbangkan, pastikan untuk menjalankan skenario pengujian dengannya sebelum berkomitmen untuk melakukannya.
Pertimbangkan harware dan software apa yang mungkin dimiliki oleh user.
Jika Anda ingin melihat user menyelesaikan tugas dari jarak jauh, Anda perlu memastikan bahwa mereka memiliki akses khusus ke komputer serta aplikasi yang memungkinkan mereka untuk berbagi layar (pastikan mereka akan memiliki pengetahuan, kemampuan, atau izin untuk menginstal aplikasi atau plug-in dan membagikan layar mereka/ screen sharing). Jika ini akan menjadi tantangan atau frustrasi bagi kelompok user Anda, Anda mungkin perlu memvariasikan pendekatan Anda, misalnya, menggunakan survei yang dapat diselesaikan tanpa software.
Uji setup atau pengaturan Anda sebelum sesi dimulai.
Tambahkan peralatan dan software rekaman, dan akan mudah kehilangan beberapa bagian, yang mengganggu penelitian Anda.
Miliki ahli IT yang siap sedia untuk troubleshooting.
Bahkan rencana yang paling baik pun bisa jadi serba salah. Oleh karena itu, sangat membantu jika memiliki seseorang yang membantu menyelesaikan masalah terkait IT saat kegiatan berlangsung.

Moderated Techniques vs Automated Techniques

Sebagian besar teknik yang dibahas pada cara ini telah dimoderasi, di mana fasilitator (juga disebut moderator) berbicara langsung kepada user dan membimbing mereka melalui penelitian. Untuk pendekatan kualitatif secara umum, cara ini memberi fasilitator kesempatan untuk menilai sikap dan respons emosional peserta, memvariasikan pertanyaan mereka untuk menggali bidang-bidang yang diminati. Namun, pendekatan yang dimoderasi dapat memakan waktu dan terbatas ruang lingkupnya, karena jumlah sesi terbatas pada jam yang tersedia dari fasilitator.

Automated tests dibuat sebelumnya, dan hasilnya dianalisis setelah periode waktu yang ditentukan (atau setelah target jumlah user merespons). Umumnya teknik-teknik ini mengarah pada sampel data yang lebih besar yang menunjukkan tingkat keberhasilan dan perilaku user untuk pertanyaan dan tugas tertentu.

Menyiapkan Automated Research dapat menghabiskan upaya lebih banyak daripada Moderated Research dalam tahap perencanaan, karena Anda harus lebih berhati-hati tentang bagaimana Anda mengajukan pertanyaan, terutama jika Anda berfokus pada data kuantitatif dan ingin dapat membandingkan sejumlah besar sampel orang yang menjawab pertanyaan yang persis sama. Anda juga akan ingin membuat sampel uji ketika mengevaluasi tools, untuk memastikan Anda benar-benar dapat mengajukan pertanyaan target Anda dengan cara yang benar dalam alat yang dipilih.

Begitu informasi mulai masuk, umumnya mudah untuk melihat pola dalam angka menggunakan pendekatan otomatis; juga, untuk saat menambah peserta tambahan, pengeluaran tambahan jauh lebih sedikit daripada pendekatan yang dimoderasi. Namun, Anda harus selalu mencoba memasukkan pertanyaan kualitatif dalam tes Anda untuk lebih memahami makna di balik hasil.

Automated Test umumnya bekerja paling baik untuk tugas linier sederhana di mana Anda dapat mengajukan pertanyaan spesifik dan dengan mudah memahami apakah user telah berhasil atau gagal dalam suatu tugas. Tes-tes ini bekerja paling baik dalam hubungannya dengan pendekatan lain, seperti wawancara, yang memberikan lebih banyak informasi tentang motivasi. Namun, jika Automated berdiri sendiri (tanpa digabungkan dengan cara lain), mereka masih dapat membantu tim memahami bidang masalah dengan cepat, sehingga sangat membantu untuk mempertimbangkan mereka sebagai persiapan perencanaan penelitian terperinci.

USABILITY TESTING

Seperti disebutkan di bagian sebelumnya, ada banyak elemen desain Anda yang dapat Anda uji dengan user. Namun, jika tujuan Anda adalah untuk memahami dan meningkatkan kemampuan user untuk berhasil menyelesaikan tindakan utama dalam produk Anda, misalnya, menambahkan produk ke keranjang belanja dan kemudian checkout – Anda ingin fokus pada Usability Testing.

Usability Testing adalah salah satu metode pengujian User Experience Design (UX Design) yang paling sering digunakan. Usability Testing juga yang paling terkenal di antara orang-orang non-desainer UX, sehingga stakeholder bisnis dan tim proyek Anda mungkin sudah akrab dengannya. Konsep Usability Testing sendiri sangat sederhana: buat serangkaian tugas yang diprioritaskan untuk website atau aplikasi Anda, minta beberapa user untuk mengerjakannya, dan catat di mana mereka memiliki masalah dan di mana mereka berhasil.

USABILITY TESTING vs USER ACCEPTANCE TEST

Beberapa orang di organisasi Anda mungkin memiliki kesalahpahaman bahwa Usability Testing hanya terjadi saat mendekati masa akhir Development atau di awal tahap Deployment, ketika telah ada versi website atau aplikasi yang berfungsi, mungkin dalam mode beta. Anggapan ini mungkin juga terkait dengan praktik umum melakukan User Acceptance Test (UAT) pada juga pada titik yang sama (masa akhir Development atau di awal tahap Deployment). Kesamaan nama antara Usability Testing dengan User Acceptance Test juga menyebabkan kebingungan.

Untuk aplikasi yang melalui proses Quality Assurance formal, UAT adalah salah satu tahap pengujian lanjutan, dan jarang dilakukan pada user sebenarnya. Tujuan utama UAT adalah untuk pemeriksaan akhir, apakah aplikasi telah memenuhi persyaratan fungsional yang ditetapkan oleh para stakeholder; termasuk juga dapat menangkap kesalahan atau bug yang dilaporkan peserta pengujian.

Meskipun UAT dapat menunjukkan masalah Usability, tetapi cara ini tidak boleh diandalkan sebagai satu-satunya metode untuk menemukan masalah Usability pada suatu proyek. Perubahan berdasarkan feedback dari UAT jauh lebih mahal karena dilakukannya sudah hampir di bagian akhir proyek. Jauh lebih baik untuk menangkap isu-isu utama lebih awal dalam proses, sebelum banyak waktu dihabiskan untuk Development. Usabilitu Testing dirancang untuk memberikan informasi kinerja yang lebih nyata lebih awal dalam proses.

Tahapan umum yang dalam Usability Testing adalah:

Merencanakan penelitian
Perekrutan dan logistik
Menuliskan panduan diskusi
Memfasilitasi Usability Testing
Melakukan analisis dan menyajikan hasil
Menuliskan rekomendasi

Sebelum Anda mulai melakukan Usability Testing, tinjau dan rembukkan tujuan proyek Anda. Hal ini akan membantu Anda mempertahankan fokus sepanjang kegiatan dan akan sangat membantu pada tahap awal saat Anda memilih pendekatan dan merencanakan pengujian.

Jadi apakah Usability Testing merupakan metode kuantitatif atau metode kualitatif? Hal ini adalah salah satu diskusi yang paling lama dibahas pada bidang UX Design. Kedua pendekatan itu mungkin dan masing-masing memberi hasil yang bermanfaat.

Para pendukung pendekatan Quantitative Usability Testing mengatakan:

Quantitative Research memungkinkan untuk menetapkan tolok ukur (benchmark) terukur yang dapat diuji terhadap iterasi selanjutnya, menunjukkan progress terhadap tujuan (misalnya, mengurangi waktu yang dibutuhkan untuk checkout hingga 20 persen atau menemukan 80 persen masalah Usability di website). Hal ini juga menjadi pendekatan yang baik ketika Anda ingin melakukan perbandingan dua website secara formal atau mengevaluasi website tertentu.
Quantitative Research memberikan hasil yang dapat divalidasi secara statistik, yang dapat menjadi penting ketika rekomendasi perlu dipertahankan untuk stakeholder yang mempercayai keputusan yang berdasrkan data.
Quantitative Research mengurangi kemungkinan bias, pandangan individual seorang UX Designer, yang mempengaruhi hasil.
Quantitative Research memberikan tingkat kepercayaan yang lebih tinggi karna hasilnya mencerminkan seluruh basis user.
Quantitative Research menawarkan metode numerik yang jelas untuk memvalidasi temuan (misalnya, berapa banyak user yang mengalami masalah yang sama).

Para pendukung Qualitative Usability Testing mengatakan:

Qualitative Research membangun experience dan empati pada desainer, mendorong solusi kreatif yang berfokus pada user.
Qualitative Research sangat bergantung pada intuisi UX Designer untuk membuat rekomendasi yang masuk akal, yang merupakan bagian besar dari mengapa UX Designer ada dalam tim.
Untuk Usability Testing khususnya, pendekatan kualitatif seringkali lebih murah daripada pendekatan kuantitatif, karena diperlukan lebih sedikit user dan karena Qualitative Research tidak memerlukan pengetahuan ilmiah formal terkait analisis dan desain seperti statistik.
Sangat mudah untuk menganalisis hasil studi kuantitatif secara keliru, dengan demikian melakukan pembohongan (betapapun tidak sengaja) dengan data. Jadi melalui pendekatan kuantitatif, jika tidak berjalan dengan benar, sebenarnya dapat menimbulkan lebih banyak risiko daripada pengujian kualitatif.
Meskipun temuan tidak divalidasi secara numerik, hasil dari pengujian kualitatif dapat divalidasi oleh seorang desainer, yang akan membuat pernyataan tentang masalah yang mungkin berdampak menggunakan pemikiran rasional dan kemudian membangun case dengan User Stories.

Qualitative Usability Testing adalah pendekatan yang lebih mudah diikuti oleh desainer yang belum mendapatkan pelatihan dalam metode ilmiah formal, dan menyediakan sumber data yang kaya untuk menginformasikan desain.

Berapa Banyak Jumlah User untuk Dinyatakan “Cukup”?

Bertanya “Berapa banyak jumlah user yang “cukup”?” dalam kelompok UX Designer seperti mengibarkan isu agama di rapat umum politik, bisa menjadi topik perdebatan hangat. Namun, hal ini juga pertanyaan yang tidak bisa dihindari, karena Anda akan membutuhkan framework untuk mulai merencanakan penelitian Anda.

Pertanyaan ini terkait dengan pendekatan yang Anda gunakan: kuantitatif atau kualitatif. Untuk memberikan jawaban singkat, berikut adalah pedoman yang tampaknya mendapatkan paling banyak konsensus (kesepakatan) di bidang UX, yang disediakan oleh Jakob Nielsen:

Untuk Quantitative Usability Test, rencanakan peserta dengan jumlah yang lebih tinggi: 20 peserta per putaran penelitian.
Untuk Qualitative Usability Test, 5-8 user per grup untuk setiap putaran penelitian biasanya cukup. Idealnya, penelitian dilakukan lebih dari satu putaran, tujuannya untuk mengungkap masalah yang mungkin tersembunyi di bawah masalah lain atau secara tidak sengaja, masalah tersebut baru ada dalam desain yang baru.

Pembahasan selanjutnya pada artikel Design Testing [2].

REFERENSI

Unger, R, Chandler, C, 2012. A Project Guide to UX Design: For User Experience Designers in the Field or in the Making (2nd Edition). Berkeley: New Riders.
Feature Image: Photo by David Travis on Unsplash