WOLFRAM

Wolfram言語 ＆ システムドキュメントセンター
検定フレームワークを使う

検定フレームワークを使う

変更不可能な検定を書くデバッグとTestReportのロギング
複数ステップ操作のための検定を書くTestReportの制御フローを破る
TestReportを使う検定ファイルを書く
Wolfram言語はコードを書き，その検定を実行するためのフレームワークを提供する．
検定を定義するための主な関数としてVerificationTestとTestCreateがある．
VerificationTestはWolfram言語のために作成された最初の検定関数である．その動作は単純である．検定はすぐに評価されTestObjectが返される：
Wolfram Language code: test = VerificationTest[2 + 2, 4]
TestCreateは検定を作成するだけですぐに実行はしない：
Wolfram Language code: test = TestCreate[2 + 2, 4]
検定を実行するためには，TestEvaluateを使う：
Wolfram Language code: TestEvaluate[test]
TestCreateは実際の検定を実行しないので，検定の作成はすぐにできる：
Wolfram Language code: AbsoluteTiming[tests = Table[TestCreate[Pause[1];2 + 2, 4, TestID -> i], {i, 4}]]
これで検定を評価する．休止は順に評価される：
Wolfram Language code: AbsoluteTiming[Map[TestEvaluate, tests]]
長い検定をスピードアップするためにはParallelMapが使える：
Wolfram Language code: AbsoluteTiming[ParallelMap[TestEvaluate, tests]]
このセクションではTestCreateとVerificationTestの主な違いを見てみる．可能な限り検定はTestCreateを使って定義した方がよい．作成と評価を分けることで，次のようないくつかの機能が利用できる：
  • 条件に基づいて決まった検定だけを選んで評価する
  • 既存の検定から新しい検定を作成する
  • 検定の評価の順序を変更する
変更不可能な検定を書く
TestCreateを使って検定を作成する場合，入力式に含まれるシンボルはどれも評価されない．次の検定を見てみる：
Wolfram Language code: a = 2; test = TestCreate[a + 3, 5]
TestObjectにシンボル a への参照が含まれている．そのシンボルは定義されているので，TestEvaluateを実行すると検定は動作する：
Wolfram Language code: test["Input"]
Wolfram Language code: TestEvaluate[test]
しかし，故意でも偶然でも a の定義を消去すると検定は失敗する：
Wolfram Language code: Clear[a]; TestEvaluate[test]
大域的な依存性を避けるために，With等を使って検定に静的値を挿入することができる：
Wolfram Language code: test = With[{a = 2}, TestCreate[a + 3, 5]]
これで"Input" 特性にもとのシンボルの参照が含まれていないことが確かめられる．これによって検定は完全に独立して実行される：
Wolfram Language code: test["Input"]
複数ステップ操作のための検定を書く
ライブラリの検定を行う場合は，より複雑な使用事例を検定するのに1つの検定では不十分なことがある．
例えば，Exportによって生成されたファイルがImportにとって可読であり．式が最初のものと同一であることを確認する検定を書いてみよう．
Wolfram Language code: expr = NumericArray[Range[10]]
Wolfram Language code: output = Export[CreateFile[], expr, "WXF"]
Wolfram Language code: result = Import[output, "WXF"]
Wolfram Language code: result == expr
そのような操作を一連の検定に変換する一つの方法として以下がある：
Wolfram Language code: TestEvaluate @ TestCreate[ Import[Export[CreateFile[], NumericArray[Range[10]], "WXF"], "WXF"], NumericArray[Range[10]] ]
この検定の問題点は，異なる理由で失敗する可能性のある2つの操作（検定データのExportとImport）を組み合せているということである．これを複数の検定に分けることもできる：
Wolfram Language code: tests = TestEvaluate @ { TestCreate[ output = Export[CreateFile[], NumericArray[Range[10]], "WXF"], _String ? FileExistsQ, SameTest -> MatchQ, TestID -> "my-test-export" ], TestCreate[ Import[output, "WXF"], NumericArray[Range[10]], TestID -> "my-test-import" ] }
この方法の欠点は，2番目の検定が最初の検定と絡み合っているため，検定の原子性を破っていることである．検定の"Input"特性には output という名前の大域変数への参照が含まれている．
Wolfram Language code: Last[tests]["Input"]
つまり，最後の検定だけを別に実行したり，別の検定で同じシンボルを使ったりするときに，output の値をたまたま変更すると検定は失敗し始めるということである．
よりよい方法はIntermediateTestを使って検定を分割することである．結果のTestObjectの中のをクリックすると検定の中間結果を見ることができる：
Wolfram Language code: test = TestEvaluate @ TestCreate[ With[ {output = IntermediateTest[ Export[CreateFile[], NumericArray[Range[10]], "WXF"], _String ? FileExistsQ, SameTest -> MatchQ, TestID -> "my-test-export-stage" ]}, Import[output, "WXF"] ], NumericArray[Range[10]], TestID -> "my-test-import" ]
この検定は自己完結型であり，常に単独で実行できる．中間検定の結果は別々に調べられる．
Wolfram Language code: test["IntermediateTests"]
IntermediateTestが失敗すると外部検定も失敗するので，検定についての全体的な結果1つ得られる．外部検定内のIntermediateTestの結果を調べると，外部検定のどのステップが成功してどれが失敗したかが分かる．
TestReportを使う
TestReportはいくつもの目的を果たす1つの関数である．

TestReportを使って検定を実行する

TestReportは複数の検定を実行するために使うことができる：
Wolfram Language code: TestReport[{ TestCreate[Sin[E] > Cos[E]], TestCreate[MatrixQ[{{1, 2, 3}, {4, 5, 6, 7}}]], TestCreate[1 / 0, ComplexInfinity] }]
TestReportは"NotEvaluated"検定だけを実行する．つまり，すでに評価された検定のリストがある場合，すでに評価されたものは評価しない：
Wolfram Language code: tests = {VerificationTest[Echo[1 + 1], 2], TestCreate[Echo[2 + 2], 4]}
Wolfram Language code: TestReport[tests]

TestReportを使って検定結果を結合する

TestReportは複数のTestReportObjectを結合することができる．2つのオブジェクトを生成する：
Wolfram Language code: r1 = TestReport @ Table[TestCreate[RandomInteger[], 1], 4] r2 = TestReport @ Table[TestCreate[RandomReal[], 0.5, SameTest -> Greater], 12]
以下のようにするとレポートを結合することができる：
Wolfram Language code: r3 = TestReport[{r1, r2}]
結果を結合すると，TestReportは自動的に重複したものを削除する：
Wolfram Language code: TestReport[{r1, r1, r2, r2, r3}]

TestReportを使って評価せずに検定を集める

いくつかの検定式をファイルにエキスポートすることで検定ファイルを作成する：
Wolfram Language code: file = Export[ CreateFile[], Unevaluated@{TestCreate[Echo[1], Null], TestCreate[Echo[2], Null]}, "WL" ]
ファイル上でTestReportを実行すると，評価されていない検定がデフォルトではすべて評価される：
Wolfram Language code: report = TestReport[file]
IdentityをTestEvaluationFunctionとして使うことによって，TestReportに検定を収集するだけで評価はしないよう指示することができる．検定は実行していないのでこの操作はずっと速い：
Wolfram Language code: report = TestReport[file, TestEvaluationFunction -> Identity]
検定の収集は検定式を再作成したり記号的に操作したりする場合に便利である．"TestCreate"特性はもとの検定式をHoldFormにラップして再構成する．
Wolfram Language code: tests = #["TestCreate"]& /@ report["Results"]
HoldFormを解放することで検定オブジェクトを再構築することができる：
Wolfram Language code: Map[ReleaseHold, tests]
デバッグとTestReportのロギング
TestReportが行っていることのロギングはコードをデバッグするために必須のことである．実行中のある点で失敗する可能性のある長い検定一式を生成する：
Wolfram Language code: tests = Table[ TestCreate[Pause[1]; If[RandomReal[] <= 0.2, Throw[i]], Null, TestID -> i], {i, 10} ];
検定一式を実行すると進捗インジケータが表示される．ほとんどの場合これで十分であるが，必要な情報すべてはリアルタイムで表示しない．
Wolfram Language code: TestReport[tests]
失敗している検定すべてをリアルタイムでログするためにはHandlerFunctionsを使うことができる：
Wolfram Language code: TestReport[ tests, ProgressReporting -> False, HandlerFunctions -> <|"TestEvaluated" -> Function[If[#Outcome != "Success", Echo[#TestObject, "😵"]]]|> ];
イベントの完全リストはTestReportのドキュメントで見ることができるが，"UnhandledEvent"を使うとTestReportが行っていることをすぐに見ることができる：
Wolfram Language code: TestReport[ Table[TestCreate[RandomInteger[], 1], 3], ProgressReporting -> False, HandlerFunctions -> <|"UnhandledEvent" -> Echo|> ];
TestReportの制御フローを破る
HandlerFunctionsを使うと，検定が失敗したときにすぐに失敗するカスタムのTestReportを書くことができる：
Wolfram Language code: Catch @ TestReport[ Table[TestCreate[RandomInteger[], 1, TestID -> i], {i, 20}], HandlerFunctions -> <| "TestEvaluated" -> Function[If[#Outcome != "Success", Throw[#TestObject]]]|> ]
検定ファイルを書く
TestReportの検定ファイルを書くことは，通常単純な操作である．検定ファイルの最初で必要なコンテキストをロードするだけである：
Needs["MyContext`"]

TestCreate[MyContext`AddOne[1], 2, TestID -> "MyContext-AddOne-Test"]
TestCreate[MyContext`AddTwo[1], 3, TestID -> "MyContext-AddTwo-Test"]
TestCreateに含まれないコードはすべて，検定を実行していないとしても検定ファイルがロードされたときに毎回実行される．検定ファイルは検定のリスト，またはプログラムで検定を作成する式を含むことができる：
Needs["MyContext`"]

Table[
    TestCreate[
        MyContext`AddOne[i], 
        i+1, 
        TestID-> "MyContext-AddOne-" <> IntegerString[i]
    ],
    {i, 1, 20}
]
それぞれの検定に意味のあるTestIDを割り当てておくとよい．