ユーザビリティテストの"確からしさ"が気になるという話
ユーザビリティテストをやる機会があり、その情報を共有する中で「ユーザビリティテストはどれくらい信頼度があるのか」ということを聞かれた。信頼度が高いならその結果を信じて改善するし、信頼度が低いならそもそも別の方法でテストするということらしい。知識不足なのもあり、それからずっとモヤモヤしているため、いつか解決したときのためにモヤモヤを書いておくことにする。
確からしさという言葉は初めて聞いたのだけども、調査結果と真の値との差がどれくらいある可能性があるのか、正確度の度合い、確率といったようなことらしい。統計の世界とかで見かけた。
統計は母集団が一番大事なんだと言っていたので、ユーザビリティテストでその５人であるべき根拠はなんだ、そこから分析した結果にどれだけ信頼性があるんだということかなと認識した。ユーザビリティテストは５人のユーザーでユーザビリティ問題の85%を発見できると言われている。そこの数は問題ではなく、その５人のリクルーティングの質によっては信頼できない結果が出るんじゃないの、もしくはリクルーティングはよくても結果はそんなに信頼できるものじゃないのでは、ということを言ってるのかなと思った。
AIITでテストをやった際に、想定しているペルソナ像にマッチするユーザーをどうリクルートすればいいのかというのは疑問に思ったことはあるし、あまりにリクルート条件がざっくりしているとこの人ターゲットじゃなかったかも…とはなりそうだなと思ってはいた。 質的データを取らなければ「なぜ」はわからないと思っているし、ユーザーを見ずして改善するっていうのにも疑問を感じる。でもそこの「なぜ」の正確さや確率を問われると、とたんにどういうことだとハテナが飛んでしまってよくわからない。確率とか信頼性とかそういう話ではないような気もしたりしなかったりよくわからない。とりあえず、ニールセン博士のAlertboxのこのへんが参考になりそうである。
まだまだ、話ができるまでの知識も足りない。腑に落ちるまで、問いに終わりはなさそうである。けど、知識が足りなくても完璧じゃなくても、発信すれば問いが生まれる。成長が止まってしまうよりずっといい、と思う。
