BasicRecurrentLayer

BasicRecurrentLayer[n]

ベクトル列を取ってそれぞれがサイズ n のベクトル列を生成する,訓練可能な回帰層を表す.

BasicRecurrentLayer[n,opts]

初期の重みや他のパラメータについてのオプションを含む.

詳細とオプション

  • BasicRecurrentLayer[n]は,ベクトル列を表す入力行列を取って同じ長さの列を出力するネットを表す.
  • 入力列の各要素はサイズ k のベクトルであり,出力列の各要素はサイズ n のベクトルである.
  • 入力ベクトルのサイズ k は,通常はNetGraphNetChain等の中で自動的に推定される.
  • 次は,BasicRecurrentLayer[n]で表されるネットの入出力ポートである.
  • "Input"サイズ k のベクトル列
    "Output"サイズ n のベクトル列
  • 入力列{x1,x2,,xT}が与えられると,BasicRecurrentLayerは状態列{s1,s2,,sT}を出力する.ただし,st=Tanh[wi.xt+ws.st-1+b]である.
  • BasicRecurrentLayer[n]は単一の状態ポート"State"を持つ.これは,サイズ n のベクトルである.
  • NetGraph内では,src->NetPort[layer,"State"]の形の接続を使って,再帰関係における s0に相当するBasicRecurrentLayerの状態についての初期値を与えることができる.デフォルトの初期値は零ベクトルである.
  • NetGraph内では,NetPort[layer,"State"]->dst の形の接続を使って,再帰関係における sTに相当するBasicRecurrentLayerの状態についての最終的な値を得ることができる.
  • NetStateObjectを使って,ネットが入力に適用されると変更されるBasicRecurrentLayerの状態値を記憶するネットを作ることができる.
  • サイズ k のベクトルに作用する初期化されたBasicRecurrentLayer[]は,次の訓練可能な配列を含む.
  • "InputWeights"Wxサイズ n×k の行列
    "StateWeights"Wsサイズ n×n の行列
    "Biases"bサイズ n のベクトル
  • BasicRecurrentLayer[n,opts]"array"->value の形式の規則を使って訓練可能な配列に初期値を与えることができる.
  • 次の訓練パラメータを含めることができる.
  • "Dropout" None単位が確率的に0に設定されるドロップアウト正規化
    LearningRateMultipliersAutomatic訓練可能な配列の学習率乗数
  • "Dropout"->Noneとすると,訓練中のドロップアウトが無効になる.
  • "Dropout"->p を指定すると,ドロップアウト確率が p の自動選択されたドロップアウトメソッドが使われる.
  • "Dropout"->{"method1"->p1,"method2"->p2,}の指定を使ってドロップアウトの特定のメソッドを対応するドロップアウト確率と結び付けることができる.
  • "VariationalWeights"重み行列間の反復接続に適用されたドロップアウト(デフォルト)
    "VariationalInput"連続する各ステップで単位の同じパターンを使って,入力からのゲートの寄与に適用されたドロップアウト
    "VariationalState"連続する各ステップで単位の同じパターンを使って,前の状態からのゲートの寄与に適用されたドロップアウト
    "StateUpdate"各シーケンスステップで異なるパターンの単位を使用して前の状態に追加される前に状態更新ベクトルに適用されるドロップアウト
  • "VariationalInput"および"VariationalState"は「Gal et al. 2016 method」に基づいているのに対し,"StateUpdate"は「Semeniuta et al. 2016 method」に,"VariationalWeights"は「 Merity et al. 2017 method」に基づいている.
  • BasicRecurrentLayer[n,"Input"->shape]では入力の形を指定することができる.次は shape の使用可能な形である.
  • NetEncoder[]ベクトル列を作成するエンコーダ
    {len,k}長さ klen ベクトル列
    {len,Automatic}長さが推測される len ベクトル列
    {"Varying",k}さまざまな数の,それぞれが長さ k のベクトル
    {"Varying",Automatic}さまざまな数の,それぞれの長さが推測されるベクトル
  • NumericArrayが入力として与えられると,出力はNumericArrayになる.
  • Options[BasicRecurrentLayer]は層を構築する際のデフォルトオプションのリストを与える.Options[BasicRecurrentLayer[]]はデータについて層を評価する際のデフォルトオプションのリストを与える.
  • Information[BasicRecurrentLayer[]]は層についてのレポートを与える.
  • Information[BasicRecurrentLayer[],prop]BasicRecurrentLayer[]の特性 prop の値を与える.使用可能な特性NetGraphと同じである.

例題

すべて開くすべて閉じる

  (2)

長さ3のベクトル列を作るBasicRecurrentLayerを作る:

長さ2のベクトル列を取って長さ3のベクトル列を作る,ランダムに初期化されたBasicRecurrentLayerを作る:

この層を入力列に適用する:

スコープ  (4)

ポート  (4)

文字列を取って長さ2のベクトル列を作る,ランダムに初期化されたBasicRecurrentLayerを作る:

この層を入力文字列に適用する:

この層を入力バッチに縫い込む:

長さ2のベクトルの列を取って長さ3の単一のベクトルを作る,ランダムに初期化されたネットを作る:

この層を入力に適用する:

この層を入力バッチに縫い込む:

BasicRecurrentLayerの初期状態を設定することができるNetGraphを作る:

BasicRecurrentLayerの最終状態を取得することができるNetGraphを作る:

最終状態は出力列の最終要素である:

オプション  (2)

"Dropout"  (2)

ドロップアウトメソッドを指定してBasicRecurrentLayerを作る:

指定されたドロップアウト確率でランダムに初期化されたBasicRecurrentLayerを作る:

このネットをベクトル列について評価する:

ドロップアウトは評価中は影響しない:

NetEvaluationModeを使ってドロップアウトの訓練動作を強制する:

同じ入力を複数回評価得ると異なる結果が与えられるかもしれない:

アプリケーション  (2)

2桁足し算と対応する数値結果表す文字列からなる訓練データを作る:

入力文字列を読んで数値結果を予測する,積み上げられたBasicRecurrentLayerを使ってネットワークを作る:

ネットワークを訓練する:

訓練されたネットワークを入力リストに適用する:

xおよびyと,xとyの比較に基づくLessGreaterEqualのいずれかを含む文字列に基づいて訓練データを作る.訓練データは,長さ8までの可能なすべての文からなる:

入力文字列を読んでLessGreaterEqualのうち1つを予測する,BasicRecurrentLayerを含むネットワークを作る:

このネットワークを訓練する:

訓練されたネットワークを入力リストに適用する:

訓練集合全体の確度を測定する:

特性と関係  (1)

NetStateObjectを使ってBasicRecurrentLayerの状態を記憶するネットを作ることができる:

各評価によってNetStateObjectの中に保存された状態が変更される:

Wolfram Research (2017), BasicRecurrentLayer, Wolfram言語関数, https://reference.wolfram.com/language/ref/BasicRecurrentLayer.html (2020年に更新).

テキスト

Wolfram Research (2017), BasicRecurrentLayer, Wolfram言語関数, https://reference.wolfram.com/language/ref/BasicRecurrentLayer.html (2020年に更新).

CMS

Wolfram Language. 2017. "BasicRecurrentLayer." Wolfram Language & System Documentation Center. Wolfram Research. Last Modified 2020. https://reference.wolfram.com/language/ref/BasicRecurrentLayer.html.

APA

Wolfram Language. (2017). BasicRecurrentLayer. Wolfram Language & System Documentation Center. Retrieved from https://reference.wolfram.com/language/ref/BasicRecurrentLayer.html

BibTeX

@misc{reference.wolfram_2024_basicrecurrentlayer, author="Wolfram Research", title="{BasicRecurrentLayer}", year="2020", howpublished="\url{https://reference.wolfram.com/language/ref/BasicRecurrentLayer.html}", note=[Accessed: 22-November-2024 ]}

BibLaTeX

@online{reference.wolfram_2024_basicrecurrentlayer, organization={Wolfram Research}, title={BasicRecurrentLayer}, year={2020}, url={https://reference.wolfram.com/language/ref/BasicRecurrentLayer.html}, note=[Accessed: 22-November-2024 ]}