テスト解析

統計検定は日本統計学会が認定する統計のスキルを検定する試験です。
システムの品質を分析するにあたって、統計学は必要な知識ですので、検定を受験することで「統計的なものの見方と統計分析の能力」を評価することができます。
試験種別としては、１級から４級までと、統計調査士・専門統計調査士が用意されていましたが、このたび「データサイエンス」という試験種別が新設されることとなりました。

データサイエンス

デジタル化された社会では、大量に蓄積された多種多様なデータから目的に応じた問題解決的思考に基づく解析力＝データアナリティクス能力が必要とされます。
そこで、提示された具体的なデータセットから分析目的に応じた解決手法を選定し、表計算ソフトExcelを用いて「データの前処理から解析の実践、出力から必要な情報を適切に読み取り、当初の問題の解決のための解釈を行う一連の能力」を評価する試験種別を統計検定として創設したものが「データサイエンス」試験です。
この試験は、Excelを使用することからCBT(Computer Based Testing)方式で実施されることとなっています。

この試験では、新学習指導要領で共通必履修化された数学科と情報科の両科目における「データの分析」「データの活用」の単元を中心に大学入試までの内容レベルとしますが、同時に社会人が業務の身近な課題をデータ処理するに必須の内容レベルでもあるので、就職や採用時の自身のデータアナリティクス・スキル資格、社内での社員資格等に活用できるものです。

「数理・データサイエンス教育強化拠点コンソーシアム」のスキルセットに準拠しており、「データサイエンス基礎」「データサイエンス発展」「データサイエンス応用」の３段階で展開する計画になっています。
その第一弾として「データサイエンス基礎」を今年度(2020年)春に開始する予定で進めていましたが、コロナ禍の影響を受ける形で秋以降に変更となっています。

「データサイエンス基礎」は、新学習指導要領で共通必履修化された数学科と情報科の両科目の「データの分析」「データの活用」の単元より大学入試レベルとして用意されるものとのことです。
ただ、このスキルは社会人が業務でのデータ処理を行なう際にも必須といえるレベルであり、就職採用時のデータアナリティクスのスキル把握や社内での社員資格としても活用してもらうことも想定されているとのことです。

コロナ禍

「データサイエンス基礎」の試験実施が延期された要因は、コロナによるものですが、それは通常の検定試験にも影響を及ぼしています。
統計検定の試験形態、紙で実施する方式(Paper Based Testing)とコンピュータを利用する方式(Computer Based Testing)が用意されていますが、そのうちPBT方式は、大きな会場に集合して実施する形であり、通常年に２回(６月と１１月)に実施されているものです。
ところが、今年はコロナ禍による「３密回避」のため、６月実施分は中止となってしまいました。

現在、統計検定を実施している「一般財団法人 統計質保証推進協会」が公開している2020年度の試験実施計画は次のようになっています。

試験方式	月	検定種別
PBT	6月	準１級 ２級 ３級 ４級　←　全種別中止
PBT	11月	１級統計数理 １級統計応用 ２級 ３級 ４級 統計調査士 専門統計調査士
CBT	通年	２級 ３級 ４級 統計調査士 専門統計調査士

☆ただし、CBT方式は実施会場ごとに実施可能日が決められていますので、会場宛に問い合わせてください。
「４級」は今まではPBT方式だけでしたが、2020年6月8日（月）よりCBT方式での受験も可能となっています。
また、「専門統計調査士」のCBT方式は現在準備中とのことです。

６月実施のうち「２級」「３級」「４級」は、CBT方式で代替えが可能ですが、「準１級」はCBT方式が存在しないため、延期にての開催を検討しているようです。

「データサイエンス基礎」は、2020年12月末までにCBT方式ベータ試験の結果検証を行ない、2021年3月末から試験配信を開始する予定と発表されています。

関連記事

テストエンジニア
テスト計画
テスト作業のモチベーション
テスト自動化
品質見える化
統計検定（３級一週間合格記）
統計教育連携ネットワーク(JINSE)

統計教育連携ネットワークは、「統計的なものの見方と統計分析の能力」を持つ、課題解決型人材を育成するための大学・学会・団体で構成される組織です。
課題を発見し、データに基づく数量的な思考により課題解決できるスキルが必要になるとの認識から、欧米や中国・韓国では大学に統計学科が設置されています。

日本においても、国際競争力を高める観点から、体系的な統計教育を充実させることを目的に、まずは2011年に統計質保証推進協会が設立されました。

統計教育大学間連携ネットワーク

2012年には文部科学省の補助事業として、9大学(東京大学・滋賀大学・大阪大学・総合研究大学院大学・青山学院大学・多摩大学・立教大学・早稲田大学・同志社大学)による統計教育大学間連携ネットワークを組織し、統計関連学会連合を構成する6学会(応用統計学会・日本計算機統計学会・日本計量生物学会・日本行動計量学会・日本統計学会・日本分類学会)と業界8団体(大学入試センター・日本アクチュアリー会・日本科学技術連盟・日本銀行・日本経済団体連合会・日本製薬工業協会・日本統計協会・日本マーケティングリサーチ協会)の協力を得て、大学における統計教育の標準的カリキュラム体系の策定と達成度評価制度を整備し、統計教育の質保証制度を確立させる取組を始めます。
統計教育大学間連携ネットワークの英語名称「Japan Inter-university Network for Statistical Education」の略称として、JINSEが用いられます。

統計検定

統計教育の成果を評価する仕組みが必要とのことから、日本統計学会が認定する資格として統計検定を発足させます。2011年に、大学における統計教育の成果の確認し保証するものとして2級を創設し、併せて初等中等教育に対応する4級と3級も用意されました。翌2012年には大学院水準として1級が開始されます。

統計教育連携ネットワーク

文部科学省の事業補助期間が2016年度で終了した後、それまでに開発蓄積した資産を教育関係者に提供するために参加対象期間を全国の教育機関に拡大した組織へと発展させたものが、統計教育連携ネットワークであり、2017年に設立されています。
統計教育連携ネットワークの英語名称は「Japanese Inter-organizational Network for Statistical Education」ですが、略称はJINSEとし、区別をする必要がある場合には拡大版JINSEと称します。
連携学会は以前と同じ6学会ですが、連携団体は大学入試センターと日本科学技術連盟を除く6団体です。

JINSE版統計検定

統計教育連携ネットワーク(JINSE)が提供する、日本統計学会公式認定の「統計検定」を利用した学習達成度評価を、JINSE版統計検定といいます。

JINSEにより受験資格が認められた場合には、「JINSE版統計検定」として統計検定を受験でき、受験料が割り引かれます。割引制度には、JINSE一般会場受験とJINSE特設会場受験の2種類があり、次のようになっています。

JINSE一般会場受験

10名以上の受験者がいる場合に「JINSE一般団体受験申込書」を提出して、一般試験の会場で受験するスタイルで、受験料が10％引きとなります。

JINSE特設会場受験

JINSEに所属する会員が会場を設置して自身で試験を運営する場合、「JINSE特設会場設置登録申請書」を提出し、JINSE会員が試験資材の送付返送費用8,000円を負担するのであれば、受験料は40％引きにしてくれます。

JINSE版統計検定であっても、一般受験と同一の問題により同一の基準で採点されるので、統計検定の資格として認定されます。
☆統計検定３級合格記がありますので、参考にしてください。⇒ 統計検定３級一週間合格記

試験結果は、試験の約1か月後に統計検定センターのサイトに合格者受験番号が掲載される形です。
受験者全員に「試験結果通知書」が、合格している場合には「合格証」も併せて送付されます。
そして、JINSE会員には受験者の学習達成度に関する情報が提供されることになります。

統計学のスキル

テストエンジニアとしては、試験の設計時、実施時、結果分析時のいずれにおいても、統計学的スキルが要求されます。

試験項目の組合せは膨大となりますので、どのように組み合わせるか、どの組合せの試験を実施すべきか、という判断が求められます。
試験を実施した結果、不具合が判明した場合に、再発防止のための根本的な原因分析を行なう際や、不具合修正後に実行すべき試験の内容やボリュームを決定する際にも、統計学的な視点が必要となります。

学生のうちに、統計学を身につけ、自身の理解度を把握しておきましょう。
社会人になっても、「統計的なものの見方と統計分析の能力」の強化を意識し、統計検定にて客観的な評価を行なってください。

関連記事

テストエンジニア
テスト計画
テスト作業のモチベーション
テスト自動化
品質見える化
統計検定（３級一週間合格記）
統計検定：データサイエンス

統計検定は、日本統計学会認定の統計に関する知識や活用力を評価する試験です。
（一週間の準備で統計検定３級に合格した経緯を報告します。）

統計学はテスト結果を解析するうえでは欠かせない知識と位置づけられます。
品質見える化ツールも統計学でよく使われている手法の一つといえます。
統計学を理解することで、テスト品質のスキルを向上させることができます。

統計検定

統計に関する知識や活用力を評価する全国統一の検定試験で、総務省・文部科学省・経済産業省・内閣府の後援事業に位置づけられています。
現在は、価値観が多様化した社会となり、さまざまな課題が常に発生しているような状態といえます。
データを客観的に判断してロジカルに問題を解決するスキルは、社会人として活動をするにあたっては必須とみなされるものであり、そこでその能力を判定する統計検定への注目が高まっています。

試験種別

統計検定には次のような種別が用意されています。

種　別	試　験　内　容
統計検定：１級	実社会の様々な分野でのデータ解析を遂行する統計専門力
統計検定：準１級	統計学の活用力 ─ データサイエンスの基礎
統計検定：２級	大学基礎統計学の知識と問題解決力
統計検定：３級	データの分析において重要な概念を身に付け、身近な問題に活かす力
統計検定：４級	データや表・グラフ、確率に関する基本的な知識と具体的な文脈の 中での活用力
統計調査士	統計に関する基本的知識と利活用
専門統計調査士	調査全般に関わる高度な専門的知識と利活用手法

試験実施

試験は、紙を使う試験方式と、コンピューターを使うＣＢＴ(Computer-Based Testing)方式の２種類あります。
紙ベースの試験は、6月中旬と11月下旬の年2回実施されていますが、6月中旬は「準１級・２級・３級・４級」のみとなっています。
試験会場は、札幌・仙台・東京 23 区内・立川・松本・名古屋・大阪・福岡ですが、6月中旬は札幌・東京23区内・名古屋・大阪地域・福岡地域となります。
他に団体特設会場が用意されることがあります。

ＣＢＴ方式の試験は、随時実施されていますが、試験種別は「２級・３級」のみです。
試験会場として、全国主要都市を含む約200か所の提携施設が準備されており、試験会場ごとに試験実施日が設けられていますので、自身の計画により選ぶことができます。
ただし、受験料は紙ベースに比べて2000円ほど高くなります。(学割があり、そちらは紙ベースと同額です)

試験情報

2018年11月25日(日)に、紙ベースの試験が実施されています。11月下旬開催の試験なので全試験種別が対象となっています。
１級は「統計数理」と「統計応用」に分割されているのですが、両方受験することも可能ですが、「統計応用」の方は「人文科学」「社会科学」「理工学」「医薬生物学」の１分野を選択する形です。
 
次回の試験は、2019年6月16日(日)の予定となっており、6月中旬開催となるので、「準１級・２級・３級・４級」の受験が可能です。
申込期間は、個人申込が4月8日～5月10日で、団体申込は4月8日～5月8日です。
個人申込の場合は、Web申込と郵送申込が可能で、Web申込は4月8日10時に開始となり5月10日15時までとなっており、郵送申込は5月10日必着です。
団体申込は、10名以上の受験者をまとめて申込む方式で、一般試験会場で受験する場合は受験料が10％割引となります。特設会場での受験は受験料が25％割引となりますが、統計検定センターが定める条件に基づいて教育機関や企業等の団体が試験会場を用意する形が要求されます。詳細については、統計検定センターに問合せ願います。
 

統計検定３級一週間合格記

統計検定という資格制度が存在することを知り、チャレンジしてみようと思いました。
紙ベースの試験は年に２回しか実施されず、次回は11月下旬になるとのことでしたので、ＣＢＴ方式で受験することにしました。
ＣＢＴ方式ですと、２級か３級を受験することができますが、統計検定のホームページに記載されている過去問題をチェックしてみたところ、２級は少しハードルが高いと感じられたため、今回は３級を受験することとしました。

３級合格レベル

３級は、大学入試センター試験(大学共通第１次学力試験)数学レベルをほぼほぼ理解できていれば、十分合格できると思われます。
高校数学としては、順列組合せ(ＰとＣで表現されるもの)と偏差について押さえておけば、あとは中学数学の知識でまかなえるはずです。

次の項目についての定義を確認しました。

順列(nＰr)	異なるn個からr個を取り出して順に並べる：n×(n－1)×(n－2)×・・・×(n－r＋1)
組合せ(nＣr)	異なるn個からr個を取り出す(並べない)：nＰr÷r！＝n！÷((n－r)！r！)
偏差	各データと平均値の差
平均偏差	各データと平均値の差の絶対値
分散	偏差を二乗した値の平均値
標準偏差	分散の平方根
変動係数	標準偏差を平均値で割った値
標準化	偏差を標準偏差で割った値
偏差値	標準化を10倍し50を加算
共分散	偏差の積の平均値
相関関数	共分散を標準偏差の積で割った値

３級受験準備

最低限の知識を確認する手段として、統計ＷＥＢサイトの[統計学の時間]ページを参照しました。特に「Step0. 初級編」は全てを読破し、内容を習得しています。
★[統計学の時間]の学習は、３日間程度です。

統計検定公式サイトでは、３級受験用の書籍として『日本統計学会公式認定　統計検定３級対応「データの分析」』を推奨しています。

日本統計学会公式認定 統計検定3級対応 データの分析

ＷＥＢ画面での学習が苦手な方は、手元の書籍での勉強の方が習得が早いと思いますので、各自のスタイルに合わせて選択してください。

ひととおり知識の確認がとれた後は、統計ＷＥＢサイトにアップされている過去問題に取り組み、手書きにて解答するようにしました。
そして、全ての問題文と解答するまでの計算式や考え方をもれなく脳に記憶させ、どの問題文を見てもすぐに解法が書けるようになるまで覚え込むこととしました。
過去問題と同じような問題か、多少応用を加えたものが出題されると想定での受験対策です。
★過去問題の解答と記憶に、４日間程度費やしました。

過去問題については『日本統計学会公式認定 統計検定 ３級・４級 公式問題集［2015～2017年］』が出版されていますので、こちらに挑戦しておくと安心度が高まるはずです。

日本統計学会公式認定　統計検定　3級・4級　公式問題集［2015～2017年］ [ 日本統計学会 ]

３級受験合格

ＣＢＴ方式で受験する場合、ＣＢＴを運営しているオデッセイという会社の「Odyssey ID」を取得しなければなりませんが、メールアドレスを一つ用意するだけで登録ができます。

ＣＢＴ受験会場では、受験用のＰＣ1台に、油性サインペンとサインペン記述用の下敷きのようなものが用意されています。個人で持ち込むものは、関数計算不可の単純な電卓1つだけとなります。
受験時間は60分間ですが、試験を開始すると受験用ＰＣの画面下方に残時間が出力表示されるようになっています。

試験問題はＰＣの画面に出力表示されるスタイルですが、ディスプレイの一画面におさまらない問題文もありますので、その場合はスクロールをすることになります。
問題の解答は選択式であり、結果を求めるための計算はサインペンを使って下敷きに書くことになりますが、多少サインペンがにじむので筆圧を考慮する必要があります。

最終問題までの解答が済むと、問題が一覧表示されるので、再考したい場合には該当する問題文のページへと戻ることが可能です。
後回しにしていた問題は、問題が一覧表示された時に解答済か否かが識別できるようになっているので、その点安心です。

制限時間が過ぎると、アンケート画面へと遷移します。そしてアンケートの回答をすると、合否の画面が表われます。その後、受験会場の担当者が試験結果レポートをプリントしてくれます。

試験結果レポートには「合格評価得点：70」「あなたの得点：xx」「結果：ＸＸ」が印字されています。
また、セクション分析として「1.データの種類・標本/実験調査・統計グラフの分野」「2.データの集計・代表値・散らばりの分野」「3.確率・時系列の分野」それぞれの正解率を教えてくれますので、もし不合格となってしまい再度受験する場合での重点勉強分野がわかるようになっています。

ちなみに合格証は3週間ほど過ぎてから郵送されてきました。合格証には『統計検定（CBT）において』との記載があり、ＣＢＴ方式受験ということが明記されていました。

関連記事

テストエンジニア
テスト計画
テスト作業のモチベーション
テスト自動化
品質見える化
統計教育連携ネットワーク(JINSE)
統計検定：データサイエンス

テストを実施した後は、テスト結果を分析評価しなければいけません。
不具合が検出されるとプログラムを改修しますが、モグラたたき的な対処を行なっても、システム品質は向上しません。
不具合の原因分析を怠ってしまうと、他のプログラムにも似たような不具合が存在していたとしても、見逃されてしまう可能性があります。

プログラムには多くの条件分岐が含まれているため、すべての条件を網羅したテスト項目を用意するというのは現実的ではありません。
例えば、一つのプログラムに選択値が3つある条件分岐が10か所ある場合、 3×3×3×3×3×3×3×3×3×3＝59049 もの組合せが考えられます。
一つのシステムが100本のプログラムで構成されているとすると、単純計算で590万という膨大な組合せになってしまいます。そこで、テスト作業としては代表的な組合せを選定して実行せざるを得ないということになります。

その際の一つの品質向上策として、あるテスト項目で不具合が検出された場合、その不具合の発生原因と同じ要因が他のプログラムにも存在していないかを水平展開という形 で確認することで、潜在的な不具合を顕在化させます。
そのためにも、不具合が検出された時には詳細な分析を行なって発生原因を特定化する必要があります。特に複数件の不具合が検出されるような時には、不具合の発生傾向をとらえることで不具合の発生原因の見極めが容易になることがあります。

品質見える化ツール

パレート図

不具合の傾向分析にはパレート図が有効です。 パレート図は、不具合の要因として比較検証しやすい要素を用意し、要素ごとに発生件数を積み上げて、件数が多い順に並べて発生要因を見定めるものです。
サブシステム単位に不具合件数をプロットすると、在庫サブシステムと請求サブシステムで不具合全体の7割を占めるといったような情報を押さえることができます。

重大誤り発生傾向グラフ

誤りの重度(影響度)を期間ごとにプロットし、重大な誤りの有無や発生傾向をチェックするためのツールです。
重大な誤りの発生時期を確認することで、システムにどのような誤りが残存しているかを評価します。 危険度が高い誤りがテスト作業の後半になっても頻発しているようであれば、未だシステム品質としては安定していないと想定でき、品質強化のための対策をとる必要があり ます。

ゾーン評価

ゾーン評価は、横軸を試験密度、縦軸を誤り検出率にして、プログラム単位に実績をプロットするものです。
試験密度というのは試験項目数を表す尺度で、誤り検出率というのは誤り検出数を表す尺度です。ともに、システム規模に対する指標(品質メトリクス)で、それぞれ、どれくらいの試験項目を実施すべきか、どれくらいの誤りが検出されるべきか、を示すものです。
ちなみにシステム規模は、プログラムのステップ(ライン)数、あるいは、システム全体のファンクションポイント数を基に算出されます。

また、試験密度・誤り検出率については、目標とすべき値のほか、目標値に対する許容範囲値も定めます。許容範囲値は、目標値に対し30％程とするのが通例ですが、システムの難易度や重要度に応じて決定してください。

ゾーン評価では、横軸に試験密度目標値と試験密度許容範囲値という2つの値、縦軸に誤り検出率目標値と誤り検出率許容範囲値という2つの値が刻まれます。
そしてプログラムごとに、試験密度が「目標値未満か」「目標値と許容範囲値の間か」「許容範囲値超過か」と、 誤り検出率が「目標値未満か」「目標値と許容範囲値の間か」「許容範囲値超過か」を判断して位置決めをします。
どこに位置づけられたかを見て、そのプログラムの品質を判定する、というのがゾーン評価の方法です。

判定例として

試験密度が目標値未満なのに 誤り検出率が許容範囲値超過	品質悪	試験項目が少ないのに誤りがとても多い
試験密度が許容範囲値超過なのに 誤り検出率が目標値未満	品質優	たくさん試験をしているのに誤りが少ない

★ゾーン評価のより詳しい説明は、[システム品質]サイト<品質評価>ページを参照ください。

品質の評価

システムの品質状況を確認する方法として、「パレート図」「重大誤り発生傾向グラフ」「ゾーン評価」などを用いて客観視することを「品質の見える化」といいます。
見える化ツールとしては、他にも「ゴンペルツ(誤り検出収束予測)曲線」といって誤りの発生状況から収束時期を見極めるツールもあります。
客観的な品質を測るモノサシを使うことにより、ウィークポイントが浮かび上がらせることができるため、実効的な品質向上策を実施することが可能となります。

関連記事

テストエンジニア
テスト計画
テスト作業のモチベーション
テスト自動化
統計検定（３級一週間合格記）
統計教育連携ネットワーク(JINSE)
統計検定：データサイエンス

効率よくテストを実施しようと考えると、テスト自動化の導入という方法があります。
プログラム作成直後に自動テストを起動してチェックする、または、リグレッションテスト(回帰テスト)といって既に開発済の機能が以前のまま問題なく動作するかを確認する、といった時にテスト自動化ツールが使用されています。

しかし、現状ではまだツールという位置づけであり、どんなテスト作業でも自動化ができるというわけではありません。

テスト自動化手法

テスト自動化といった場合、プログラム作成されるタイミングで実行されるホワイトボックス系の自動テストと、機能として実装される単位で実行されるブラックボックス系のテストと、大きく２種類あります。

ホワイトボックス系テスト

カバレッジ計測ツール

プログラムソースに記述されている命令文や条件分岐を自動でチェックするツールが存在しています。
カバレッジとは網羅度という意味ですが、ホワイトボックステストでは、プログラムに記述されている命令文、条件判定文をテストしますが、テストを実行した割合をカバレッジとして表現します。全てのテストケースを実行した場合は、カバレッジ100％となります。

Ｃ０	ステートメントカバレッジ（命令網羅）	命令文の実行
Ｃ１	ブランチカバレッジ（分岐網羅）	条件分岐の真偽を実行
Ｃ２	コンディションカバレッジ（条件網羅）	条件を組合せて実行

ホワイトボックステストとしては、全ての命令文と、全ての条件分岐の真偽はテストすべきものですので、Ｃ０とＣ１はカバレッジ100％をテスト終了条件とします。

条件の組合せは、バリエーションが膨大となる可能性があるため、カバレッジ率はプロジェクトごとに決定してください。
例えば、マスタメンテナンスやデータ入力画面では、セレクト項目が10～20程度は存在していると思います。
そのプログラムに選択値が3つある条件分岐が10か所あると仮定すると、
3×3×3×3×3×3×3×3×3×3＝59049
にもなってしまいます。

ところで、カバレッジ計測ツールは実装されたロジックに対するテストになりますので、仕様書には記載があるのに実装し忘れたロジックがある場合は、テスト対象外になります。
また、実装を間違えていた場合、例えば「20未満」とするべきところ「20以下」と実装していたとしても、そのようなミスは検出することはできません。

テストファースト(テスト駆動開発)

プログラムの作り方として、先に仕様書からテストすべき部分を抽出し、そのテストをクリアするようにロジックを組み立てていく、というスタイルです。

どのようなテストができるかを考えることは、仕様書のレビューにもなるため、システム品質を底上げすることにもつながります。
仕様書からテストする必要がある項目を全て挙げて、その中から重要度が高く実装できるテスト項目を選出し、テストロジックを作成するところから始めます。

最初は現在の実装ではテストが失敗するように記述し、それをテストが成功するようになるよう、実装を見直しながらブラッシュアップしていく、という形を取ります。

テストを失敗する段階	レッド
テストをパスする段階	グリーン
ロジックをブラッシュアップする段階	リファクタリング

テスト駆動開発ではテスト項目をロジックに追加するたびに「レッド → グリーン → リファクタリング」を繰り返して、最終的にプログラムとして完成させます。

テスト項目を一つずつクリアしないとプログラム作成を先に進めることができない手法であるため、プログラムの品質は自ずと高まります。
しかし、テスト項目を考えながらのプログラミングは、やはり時間がかかるものですし、中にはプログラム単体ではテストロジックを組み立てられないテスト項目(データベースの更新やインターフェースの確認など)もあります。Ｃ２(条件網羅)もテスト項目を組合せて結果を求めるものです。

したがって、テストファーストでプログラムを作成したからといって、他のテストを実施しなくても良い、というわけではありません。
また、プログラムの仕様変更が発生した場合、テストロジックもメンテナンスしなければなりませんので、工数見積にも配慮が必要です。

ブラックボックス系テスト

現行のテスト自動化ツール

現在、提供されているテスト自動化ツールは「プログラム実行時のオペレーション(項目入力と振舞い)と実行結果を、以前の動作と改修後の動作とを照合する」というものです。
つまり、既に作成されており正常動作するプログラムに対して仕様変更が発生した時に使われるものです。

テスト自動化ツールの実行では、次を準備します。

スクリプトファイル	プログラムのオペレーションを記録
スナップショット	プログラムの操作(変化する)単位に保存
処理結果	プログラム動作後の結果を照合する情報

自動テストは、主にリグレッションテストという「プログラム改修しても改修前と同じ処理結果になっているかの確認」を目的とします。
プログラム改修作業で、改修した部分の実装に注力するため、改修の影響範囲外についての確認作業を省力化させようというものです。

ゼロから作成したプログラムでは、比較元となるプログラムが存在しないので、残念ながらテスト自動化ツールは使用できません。
正しい処理結果は仕様書から導き出せるので、準備資料であるスクリプトファイル・スナップショットを用意できれば、テスト自動化ツールを利用できないわけではありませんが、準備資料の作成が大変な作業負荷となることから、現実的な方法とはいえません。
また、スクリプトファイルやスナップショットは、プログラム改修作業の都度、メンテナンスを継続しておく必要もあります。
大至急でのプログラム改修や、ほんの些細なプログラム改修であっても、プログラムロジックの改修作業だけでなく、テスト自動化ツールで必要な情報の整備も行なっておかないと、その後のプログラム改修作業で使用することができなくなってしまいます。

テスト自動化のまとめ

テストを自動化＝機械化することは、テスト作業での操作ミス等を防止できますし、マシンが自動で実行するものであるため、人間の作業負荷を軽減し、より創造的な作業のための時間を創出することができるというメリットがあります。 しかし現在のところ、テスト自動化は一部分に限って利用することができるという状況です。

カバレッジ計測ツールとテストファーストは、ともにプログラムの作成段階での正確性を担保するものという位置づけで、テストとして不足する部分があるため、やはりプログラム単体テストは実施すべきものといえます。

テスト自動化ツールは、プログラム改修時のリグレッションテストとしては有効ですが、プログラムの新規作成時やプログラム改修で新たに追加された機能のテストとしては未だ利用することはできません。
また、プログラムの改修作業が発生するたび、プログラムのロジックを改修するだけでなく、テスト部分も改修する必要があります。

正確性が向上して時間の有効活用が期待できるプラス面と、自動化だけではカバーできないテスト作業があることと自動化を維持していくために作業負荷が増加するというマイナス面があることを認識した上で、テストの自動化を推進していくといいのではないでしょうか。

関連記事

テストエンジニア
テスト計画
テスト作業のモチベーション
品質見える化
統計検定（３級一週間合格記）
統計教育連携ネットワーク(JINSE)
統計検定：データサイエンス