はじめに
品質保証の仕事をしていると、よく聞かれる質問があります。
「このテストって何回やれば十分なんですか？」
例えば、
- AIの回答品質評価
- 負荷試験
- ランダム要素を含む機能の検証
などです。
1回成功したからOK？
10回？
100回？
実は、この質問に単純な正解はありません。
1回成功しただけでは安心できない
例えばコイン投げを考えてみます。
コインを1回投げて表が出ました。
だからといって、
「このコインは必ず表が出る」
とは言えません。
当たり前ですよね。
では2回連続で表が出たら？
3回なら？
10回なら？
回数が増えるほど自信は持てますが、それでも絶対とは言えません。
システムのテストも同じです。
1回成功したという事実は、「その1回は成功した」ことしか証明していません。
「たまたま成功した」を疑う
品質保証では、結果を見たときに
「本当に問題ないのか？」
「たまたま成功しただけではないのか？」
を考えます。
例えば、あるAI機能を10回試したら10回とも期待通りだったとします。良さそうに見えます。
でも100回試したらどうでしょう？
95回成功して5回失敗するかもしれません。
1000回試したら？
もっと別の問題が見つかるかもしれません。
つまり、テスト結果を見るときは
「見えなかった失敗がどれくらいありそうか」
も考える必要があります。
QAが見ているのは「回数」ではない
実はQAが気にしているのは、「何回やったか」そのものではありません。
気にしているのは、
「その結果をどれくらい信頼できるか」
です。
例えば、
- 3回中3回成功
- 100回中98回成功
なら、多くの人は後者の方が安心できると思います。
成功率だけ見ると、
- 100%
- 98%
で前者の方が良さそうです。
それでも後者の方が信頼できそうに見えるのは、確認した回数が多いからです。
推測統計という考え方
ここで登場するのが推測統計です。
難しく聞こえますが、やっていることはシンプルです。
「確認した一部の結果から、全体を推測する」
これだけです。
私たちは全ユーザーの操作を確認できません。
全ての入力パターンも確認できません。
だから、限られたテスト結果から
「おそらく大丈夫そう」
をできるだけ合理的に判断します。
おわりに
「何回テストしたらOKですか？」
という質問への答えは、実は
「何回やったかだけでは決まらない」
です。
品質保証では、回数そのものよりも、その結果をどれくらい信頼できるかを考えます。
1回成功したことと、100回成功したことでは意味が違います。
私たちは日々、限られたテスト結果から全体の品質を推測しています。
その考え方の裏側には、推測統計という考え方があります。
普段あまり意識することはないかもしれませんが、
「何回やれば十分なのか？」
という問いは、実は品質保証の本質に近いテーマなのです。
