テスト戦略と標準（テスト計画・妥当性・不具合収束曲線）
G-5 品質管理 ＞ G. 実行管理（プロジェクト） 元資料: ◆テスト関連の標準【第2編】（7枚）
目的・概要
◆テスト関連の標準
考え方・観点
製品や成果物の「質」を計測する
- 成果物の良しあしを判定
- する評価モデルの構造
- 成果物のチェックには①内容網羅 ②粒度 ③深さが必要
- ①内容網羅・・必要性
- ・文書の構造 ・・章立てや節、整合（上位、関連）
- ・タスク ・・WBSの構造・内容
- ②粒度・・十分性
- ・記述の解像度（定性） ・・画面（xx入力、xx出力）、帳票、バッチ
- ・記述量（定量） ・・機能あたり○○Page、○○文字
- ③深さ
- ・作る側の深さ ・・論理性↑ 曖昧性↓ 冗長性↓ 言及範囲
- ・見る側の深さ ・・Pageあたり指摘数、重指摘数、指摘のバランス、 リスク観点・・などでの総合チェック
- ● 上記を評価するためのモノサシが 「品質基準」
- ● 基準に従って、測った結果を評価する機会が 「レビューや判定会議」
- ● その結果を確かめるモノが 「エビデンス」
- 製品やサービスの良しあしを計測する上での考え方として、内容×粒度×深さという評価モデルを使うとよい（下記は成果物計測の例）
テスト戦略～計画・実行～結果分析
- ◆戦略／企画
- テスト戦略の進め方（骨子）
- ◆計画／設計
- テスト計画
- 品質指標（含む計測方法） ・・テストケースの数え方
- ◆実行
- 進捗管理
- 不具合管理票
- 信頼度成長曲線
- ◆結果分析
- 判定基準
- 試験結果報告書（骨子）
- 原因分析の進め方
- ※赤文字は標準化の際、特に強化したい領域
- 影響
テストの妥当性の測り方
- 機能
- 非機能
- その他の確認項目
- （技術要件など）
- テスト対象
- （数）
- テストケース
- テスト密度
- ＝テストケース／対象数
- 注）本資料は指標化における各要素の
- 関係性を示す目的で作成しているため、FP数などの難易度は考慮しておりません
- テスト仕様書
- ドキュメント密度
- ＝ページ数／対象数
- レビューの
- 妥当性
- ケースの妥当性
- ドキュメントの妥当性
- テスト計画
- スコープや個別方針、観点、手法など
- 網羅
- （必要性）
- 粒度
- （十分性）
- テスト方針に則り、適切なケースが設定され、観点の抜け漏れがないテストが実行できるかどうかを確認
- テスト戦略
- 全体方針
- ※カテゴリや領域ごとに設定する
- 文書の確認度合い
- 指摘密度
- ＝指摘数／ページ数
- ＋有識者の目の入り具合
- レビュー時間、レビューア、
- レビュー内容（カテゴリ）
- ※観点の掘り下げに相応しい手法についても言及する
- Inputの必要十分性→網羅性、粒度
- Outputの十分性：密度や深さ
- ③ 〃
- ② 〃
- ①プロセスの妥当性
- 診る側
- 作る側
不具合収束曲線
信頼度成長曲線について
- 信頼度成長曲線 【reliability growth curve】 バグ曲線 / PB曲線
- 信頼度成長曲線とは、ソフトウェア開発のテスト工程で、欠陥（バグ）の累積発見数が開発の進捗に従って増加していく様子を表したグラフ。初期の値をもとに数学的な関数で近似し、残り数の予測などを行う。
- ソフトウェア開発では記述したプログラムのテストと修正を繰り返して品質を向上していくが、テストの序盤は発見数が少なく、次第に一定のペースで発見できるようになり、開発が終盤に差し掛かると再び発見数が減少していく（最終的には見つからなくなる）という経過をたどるのが一般的である。
- この過程を、縦軸を累積発見数、横軸を経過時間（テスト回数やテストケース数などで代理することもある）とする平面上に曲線で表したものが信頼度成長曲線である。序盤の発見数から曲線の形状を推定してその後の推移を予測することができる。どの程度の累積バグ数になったら十分な品質になったと判断できるかの基準として用いる場合もある。
- 曲線の形状は序盤が下に凸（加速度が正）、中盤の変曲点を境に上に凸（加速度が負）で、終盤に一定の値に収束するような形をしており、ゴンペルツ曲線やロジスティック曲線などで近似し、最小二乗法などの手法で係数を決定することが多い。
- 出典：IT用語辞典・e-Words https://e-words.jp/w/信頼度成長曲線.html
- 信頼度成長曲線（しんらいどせいちょうきょくせん 英:Software Reliability Growth Curve）とは、
- 横軸に日付、テスト時間、またはテストケース数、縦軸に累積バグ発見数をとったグラフ。S字の成長曲線を描くことが多い。プロジェクトの進捗状態の確認などに用いる。
- 決定論的モデルとして、最小二乗法でゴンペルツ曲線やロジスティック曲線に近似したり、確率モデルとして、非同次ポアソン過程モデルなどで表したりすることにより、現在の状況から今後の予想を立て、テスト進捗管理、バグ収束率の予測、残バグ数の予測などに用いることもある。
- 収束を見る場合に、横軸に日付を使った場合、テストをしていないからバグが出ないのか、テストをしてもバグが出ないのかの区別がつかないという問題がある。
- 出典：Wikipedia https://ja.wikipedia.org/wiki/信頼度成長曲線
イメージ図
手順・進め方
手法・理論
テスト戦略の位置づけ
- テスト戦略（システム横断）
- テスト計画
- テスト遂行
- テスト結果分析
- リスクベースド
- テストを実施せよ！
- テスト計画
- テスト計画
- ○○テストを
- 重視せよ！
- テスト戦略
- テスト計画
- 構想
- ナレッジ化
- テスト戦略は組織やシステム横断で全体の進め方、質を担保するために重視すべき点、深掘りしてテストすべき項目、そのための技法等を明確にするもの
- ナレッジを蓄積して繰り返し活用するほど
- 精度が上がるもの
