PredictorMeasurements

PredictorMeasurements[predictor,testset,prop]

predictor が testset について評価されたときに，特性 prop に関連する測度を与える．

PredictorMeasurements[predictor,testset]

任意の特性に適応可能な測定報告を与える．

PredictorMeasurements[data,…]

予測器の代りに予測 data を使う．

PredictorMeasurements[…,{prop1,prop2,…}]

特性 prop1，prop2等を与える．

詳細とオプション

  • 測定は，訓練目的で使われたものではないデータ（検定集合）に対する分類器の性能を決定するために使われる．
  • 使用可能な測定方法には，分類測定（確度，尤度等），可視化（混同行列，ROC曲線など），特定の例（最悪の分類例等）がある．
  • predictor は，一般に，Predictによって生成されるPredictorFunctionオブジェクトである．
  • PredictorMeasurements[data,…]の予測 data は次の形でよい．
  • {y1,y2,…}予測器（人間，アルゴリズム等）からの予測
    {dist1,dist2,…}予測器によって入手された予測分布
  • PredictorMeasurements[…,opts]は，検定集合に適用される場合に，予測器がオプション opts を使うように指定する．使用可能なオプションは，PredictorFunctionで与えられるものと同じである．
  • PredictorMeasurements[predictor,testset]は，以下のような報告パネルを表示するPredictorMeasurementsObject[…]を返す．
  • PredictorMeasurementsObject[…][prop]を使ってPredictorMeasurementsObject中の prop を検索することができる．繰り返し特性を検索することが必要な場合は，これの方がPredictorMeasurementsを毎回使うよりも一般により効率がよい．
  • PredictorMeasurementsObject[…][prop,opts]は，検定集合に適用される場合に，予測器がオプション opts を使うように指定する．これは，PredictorMeasurementsに与えられたもとのオプションに優先する．
  • PredictorMeasurementsには，PredictorFunction[…]のオプションに次を加えたものが使える．
  • Weights Automatic検定集合例と関連した重み
    ComputeUncertaintyFalse尺度をその不確実性とともに与えるかどうか
  • ComputeUncertaintyTrueの設定のとき，数値測度値はAround[result,err]として返される．err は測定結果 result に関連付けられた（68%信頼区間に相当する）標準誤差を表す．
  • 次はWeightsの可能な設定である．
  • Automatic重み1とすべての検定例を関連付ける
    {w1,w2,…}重み wiと i 番目の検定例を関連付ける
  • 検定例の重みを1から2に変更することは，例を重複することに等しい．
  • 重みは測度値とその不確定性に影響する．
  • 次は，検定集合について予測能力に関連した単一の数値を返す特性である．
  • "StandardDeviation"剰余の二乗平均平方根
    "StandardDeviationBaseline"検定集合の値の標準偏差
    "LogLikelihood"検定データを与えられた場合の，モデルの対数尤度
    "MeanCrossEntropy"検定例に対する平均クロスエントロピー
    "MeanDeviation"剰余の絶対値の平均
    "MeanSquare"剰余の平方の平均
    "RSquared"決定係数
    "FractionVarianceUnexplained"原因不明の分散の割合
    "Perplexity"平均クロスエントロピーの指数
    "RejectionRate"Indeterminateとして予測された例の割合
    "GeometricMeanProbabilityDensity"実クラス確率密度の幾何平均
  • Indeterminateと分類された検定例は，"StandardDeviation"や"MeanCrossEntropy"のような，検定集合についての予測能力に関連した特性を計測する際には破棄される．
  • 次は，グラフィックスを返す特性である．
  • "ComparisonPlot"予測値と検定値のプロット
    "ICEPlots"個別条件付き期待値(ICE)プロット
    "ProbabilityDensityHistogram"実際のクラス確率のヒストグラム
    "Report"主な測定値をレポートするパネル
    "ResidualHistogram"剰余のヒストグラム
    "ResidualPlot"剰余のプロット
    "SHAPPlots"各クラスのシャープレイ加法機能の説明プロット
  • 次は，時間に関連した特性である．
  • "EvaluationTime"検定集合の1つの例を予測するのにかかった時間
    "BatchEvaluationTime"バッチの1つの例を予測するための限界時間
  • 次は，各検定集合例に対して1つの値を返す特性である．
  • "Residuals"予測値と検定値の差のリスト
    "ProbabilityDensities"実クラスの予想確率密度
    "SHAPValues"各例についてのシャープレイ加算特徴の説明
  • "SHAPValues"は，さまざまな特徴を削除し次に合成した結果の予測を比較することで特徴の貢献度を評価する．オプションMissingValueSynthesisを使って欠測値を合成する方法が指定できる．SHAPの説明は訓練出力の平均からの偏差として与えられる．"SHAPValues"n を使ってSHAPの説明の数値推定に使われるサンプル数が制御できる．
  • 次は，検定集合からの例を返す特性である．
  • "BestPredictedExamples"実クラス確率密度が最も高い例
    "Examples"すべての検定例
    "Examples"{i1,i2}区間 i2で予想された，区間 i1内のすべての例
    "LeastCertainExamples"分布エントロピーが最も高い例
    "MostCertainExamples"分布エントロピーが最も低い例
    "WorstPredictedExamples"実クラス確率密度が最も低い例
  • 例は inputivalueiの形で与えられる．valueiは実際の値である．
  • "WorstPredictedExamples"や"MostCertainExamples"のような特性は10例まで出力する．PredictorMeasurementsObject[…][propn]を使って出力数を n 例に指定することができる．
  • 次は，その他の特性である．
  • "PredictorFunction"測定されているPredictorFunction[…]
    "Properties"使用可能な測度特性のリスト

例題

すべて開くすべて閉じる

例  (3)

予測器を訓練集合で訓練する：

検定集合を定義する：

予測器の標準偏差を検定集合で測定する：

剰余を可視化する：

実際の値と予測値の散布図を可視化する：

複数の特性を一度に測定する：

予測器を訓練集合で訓練する：

検定集合についての予測器の測定オブジェクトを生成する：

使用可能な測定特性のリストを得る：

予測器の検定集合についての標準偏差を測定する：

標準偏差を有限な検定集合サイズによる統計的不確かさとともに入手する：

いくつかの測定値を入手する：

分類された例から標準偏差を直接測定する：

測定報告を入手する：

予測分布から対数尤度を測定する：

スコープ  (3)

残差に基づく測定  (1)

予測された例の真の値に対する残差を可視化する：

標準偏差を測定する：

これは，残差の二乗平均平方根を計算することに等しい：

この測定についての統計的不確かさを入手する：

標準偏差を（常に検定集合の値の平均を予測する）ベースラインと比較する：

-平方値を測定する：

これは，説明された分散の比と等しい：

説明されていない分散の部分を測定する：

これら2つの値を足すと1になる：

比較プロットと例の抽出  (1)

ボストンの住宅データについての訓練集合と検定集合を作成する：

モデルを訓練集合で訓練する：

この分類器についての分類器測定オブジェクトを検定集合について作成する：

最も悪い予測の2つの検定例を求める：

両者の予測を計算する：

最もよい予測の2つの検定例を求める：

両者の予測を計算する：

予測された値と正しい値を比較する：

真の値が30から40の間の例と予測の値が40から50の間の例を抽出する：

確率的測定  (1)

式Cos[x*y]から人工的なデータ集合を作成し，可視化する：

データ集合を訓練集合と検定集合に分離する：

訓練集合について予測器を訓練する：

検定集合（実際の値の対数-確率密度関数の合計）の対数尤度を測定する：

平均交差エントロピーを測定する：

平均交差エントロピーは負の平均対数尤度である：

オプション  (5)

IndeterminateThreshold  (1)

人工的なデータ集合を作り，可視化する：

データ集合を訓練集合と検定集合に分離する：

訓練集合について予測器を訓練する：

いくつかの特徴値について，予測された分布をプロットする：

剰余の二乗平均平方根を計算する：

予測器の閾値を変えて同じ計算を行う：

この操作はPredictorMeasurementsObjectについても行うことができる：

標準偏差と拒絶率を閾値の関数としてプロットする：

TargetDevice  (1)

ニューラルネットワークを使って予測器を訓練する：

TargetDeviceのさまざまな設定について，検定集合についての予測器の標準偏差を測定する：

UtilityFunction  (1)

訓練集合と検定集合を定義する：

訓練集合について予測器を訓練する：

予測された値が実際の値よりも小さかった場合にペナルティを課す効用関数を定義し，可視化する：

この効用関数を使って，検定集合についての予測器の剰余を計算する：

デフォルトの効用関数を使った場合の方が，剰余は大きい：

この効用関数は，PredictorMeasurementsObjectを使った場合にも指定することができる：

"Uncertainty"  (1)

"WineQuality"データ集合について予測器を訓練する：

検定集合を使ってPredictorMeasurements[…]オブジェクトを生成する：

標準偏差の測度値を不確実性とともに取得する：

他の特性の測度値を不確実性とともに取得する：

Weights  (1)

訓練集合について予測器を作成する：

各検定例が持つ重みを指定しながら測度オブジェクトを生成する：

標準偏差を計算する：

重みもまた測度オブジェクト使って変更することができる：

不確実性もまた重みの影響を受ける：

アプリケーション  (2)

月平均気温のデータ集合を，都市，年，月の関数としてのロードする：

データ集合を訓練集合と検定集合に分離する：

訓練集合について予測器を訓練する：

予測器と検定集合からPredictorMeasurementsObjectを生成する：

検定集合に対しての分類器の平均クロスエントロピーを計算する：

検定値の散布図を予測された値の関数として可視化する：

比較プロットの指定領域にある検定例を抽出する：

予測が最低の20の例を抽出する：

ある地区の特徴を与えられた場合に，ボストンのその地区における住宅価値の中央値を予測する予測器を訓練する：

予測器測度を生成し，検定集合についての予測器のパフォーマンスを分析する：

剰余をプロットする：

剰余のヒストグラムをプロットする：

実際の値（剰余の二乗平均平方根）から予測値の標準偏差を計算する：

上記測度値の統計的不確実性を取得する：

Wolfram Research (2014), PredictorMeasurements, Wolfram言語関数， https://reference.wolfram.com/language/ref/PredictorMeasurements.html （2021年に更新）.

テキスト

Wolfram Research (2014), PredictorMeasurements, Wolfram言語関数， https://reference.wolfram.com/language/ref/PredictorMeasurements.html （2021年に更新）.

CMS

Wolfram Language. 2014. "PredictorMeasurements." Wolfram Language & System Documentation Center. Wolfram Research. Last Modified 2021. https://reference.wolfram.com/language/ref/PredictorMeasurements.html.

APA

Wolfram Language. (2014). PredictorMeasurements. Wolfram Language & System Documentation Center. Retrieved from https://reference.wolfram.com/language/ref/PredictorMeasurements.html

BibTeX

@misc{reference.wolfram_2024_predictormeasurements, author="Wolfram Research", title="{PredictorMeasurements}", year="2021", howpublished="\url{https://reference.wolfram.com/language/ref/PredictorMeasurements.html}", note=[Accessed: 22-November-2024 ]}

BibLaTeX

@online{reference.wolfram_2024_predictormeasurements, organization={Wolfram Research}, title={PredictorMeasurements}, year={2021}, url={https://reference.wolfram.com/language/ref/PredictorMeasurements.html}, note=[Accessed: 22-November-2024 ]}