"GradientBoostedTrees" (機械学習メソッド)

詳細とサブオプション

  • 勾配ブースティングは，木のアンサンブルの形で予測モデルを生成する，回帰および分類問題の機械学習の手法である．木は，前の木の弱点を補うことを目的として連続的に訓練される．現在の実装ではバックエンドにLightGBMフレームワークが使われている．
  • 次は使用可能なオプションである．
  • MaxTrainingRounds 50ブースティングラウンド数
    "BoostingMethod" "Gradient"使用するメソッド
    "L1Regularization"0L1正規化パラメータ
    "L2Regularization"0L2正規化パラメータ
    "LeafSize" Automatic1枚の葉中の最低データサンプル数
    "LearningRate"Automatic勾配降下で使われる学習率
    "LeavesNumber" Automatic1本の木の葉の最低数
    "MaxDepth" 6各木の最大深度
  • "BoostingMethod"の可能な設定には，"Gradient"，"GradientOneSideSampling"，"DART"がある（つまり，ドロップアウトは複数の加法回帰木を満たす）．

例題

すべて開くすべて閉じる

例  (2)

ラベル付きの例で予測器関数を訓練する：

予測器についての情報を得る：

新たな例を予測する：

データを生成し，可視化する：

このデータで予測器関数を訓練する：

データと予測された値を比較し，標準偏差を見る：

オプション  (8)

"BoostingMethod"  (1)

"WineQuality"訓練集合について，2つの分類器をそれぞれに異なる"BoostingMethod"を使って訓練し，訓練時間を比較する：

検定集合の確度を比較する：

"LeafSize"  (2)

"LeafSize"オプションを使って予測器関数を訓練する：

"Titanic" データ集合について，2つの分類器を"LeafSize"の値を変えて訓練する：

性能が向上する様子を見る：

"LeavesNumber"  (1)

ラベル付きの訓練集合を生成する：

2つの予測器をそれぞれに異なる"LeavesNumber"を使って訓練する：

性能を比較する：

"MaxDepth"  (2)

"MaxDepth"オプションを使って分類器を訓練する：

"BostonHomes"訓練集合を使い，2つの予測器をそれぞれに異なる"MaxDepth"で訓練する：

検定集合について "ComparisonPlot"を比較する：

MaxTrainingRounds  (2)

MaxTrainingRoundsオプションを使って分類器を訓練する：

MaxTrainingRoundsの値を変えることで，"Mushroom"データ集合について2つの分類器を訓練する：

性能が向上する様子を見る：