"AudioSpectrogram" (ネットエンコーダ)

NetEncoder["AudioSpectrogram"]

音声ファイルまたはオブジェクトをスペクトログラムに変換するエンコーダを表す．

NetEncoder[{"AudioSpectrogram","param"->val,…}]

前処理や特徴計算に使われる特定のパラメータを持つエンコーダを表す．

詳細

  • "AudioSpectrogram"エンコーダは，信号のスペクトログラムを計算し，短時間フーリエ変換に含まれる余分な情報を破棄する． さらに その段階の情報も破棄するため，もとの信号の厳密な再構築は不可能である．
  • NetEncoder[…][input]はエンコーダを入力に適用し，"Real32" NumericArrayを作る．
  • NetEncoder[…][{input1,input2,…}]はエンコーダを入力のリストに適用し，NumericArrayオブジェクトのリストを作る．
  • エンコーダへの入力にはAudioオブジェクトまたはFile[…]式が使える．
  • エンコーダの出力は，次元{n,Floor[(ws/2.)+1]}のランク2のテンソルである．n は前処理が適用された後のパーティションの数であり，ws は計算に使われるパーティションの長さである．
  • ネットワークの構築時に"port"->NetEncoder[…]と指定すると，エンコーダをネットワークの入力ポートに付加することができる．
    • パラメータ
  • 以下の一般的なパラメータが使用可能である:
  • "Augmentation"None増加の適用
    "Normalization"None正規化するかどうか
    "SampleRate"16000ターゲットのサンプルレート
    "TargetLength"Allターゲットの出力の長さ
  • 追加の分割パラメータ:
  • "WindowSize"Automaticパーティションの長さ
    "Offset"Automaticパーティションのオフセット
    "WindowFunction"Automaticパーティションに適用される窓
  • 各エンコーダのパラメータで以下の設定とサブオプションが指定できる．
  • "Normalization"は以下の設定を受け付ける：
  • None正規化なし
    "Max"絶対最大値が1に正規化される
    {"Max",val}絶対最大値が val に正規化される
    {"RMS",val}入力音声信号のRMSが val に正規化される
  • "TargetLength"は以下の設定を受け付ける:
  • All入力信号と同じ
    dur時間の量として指定される長さ dur
    n最初の n 個のパーティション
  • 指定された"TargetLength"が入力信号の長さと一致しない場合は，充填または刈込みが適用される．
  • "Augmentation"を規則のリストとして指定するには以下のキーが使用できる：
  • "Convolution"Noneインパルス応答を入力にたたみ込む
    "Noise"Noneノイズを入力に加える
    "TimeShift"None入力を指定の量だけシフトする
    "Volume"None入力を係数倍する
  • 増加のパラメータで数値を受け付けるものは，2つの数のリストまたは一変数分布としても指定することができる．前者の場合，数値は与えられた範囲の一様分布に基づいてランダム化される．後者の場合は，ユーザ供給の分布が使われる．
  • "Convolution"の可能な値には以下のものがある：
  • None増加なし
    signal入力にたたみ込む File または Audio
    {mix,signal}入力と mix パラメータにたたみ込む信号
  • "Noise"の可能な値には以下のものがある：
  • None増加なし
    amp振幅 amp を伴うホワイトノイズ
    noise追加するノイズ信号を含む File または Audio オブジェクト
    {amp,noise}指定の振幅のノイズ信号
  • "TimeShift"->t を使うと，入力を t 秒シフトすることができ，必要に応じて充填または刈込みが行われる．Scaled[s]を使うと，入力を s×dur 秒シフトできる．ここで，dur は入力信号の時間的長さである．{t1,t2}またはScaled[{ts1,t2}]を使うと，指定時間同士の間のシフトをランダム化することができる．
  • "Volume"->val を使うと，係数器を指定することができる．
  • パラメータ"WindowSize"->Automaticを使うと，パーティションの長さには25ミリ秒が使われる．"WindowSize"->dur を使うと，時間の長さ dur のパーティションを選ぶことができる．"WindowSize"->n を使うと，n 個のサンプルのパーティションの長さを選ぶことができる．
  • パラメータ"Offset"->Automaticを使うと，8.33ミリ秒のパーティションのオフセットが使われる．"Offset"->dur を使うと，時間の長さ dur のパーティションオフセットを選択できる．"Offset"->n を使うと，n 個のサンプルのパーティションオフセットを選択できる．
  • パラメータ"WindowFunction"は，窓を各パーティションに適用する．可能な設定には以下のものがある：
  • None入力音声に窓掛けを適用しない
    Automatic
    func窓を関数 func を使って計算する
    listサンプルの窓 list を明示する

例題

すべて開くすべて閉じる

例  (1)

スペクトログラムのNetEncoderを作る：

Audioオブジェクトを作る：

エンコーダをAudioオブジェクトに適用する：

結果をプロット表示する：

スコープ  (3)

NetEncoder["AudioSpectrogram"]はFileまたはAudioオブジェクトを符号化することができる．以下ではスペクトログラムのエンコーダを作る：

エンコーダをFileオブジェクトに適用する：

エンコーダをインコアのAudioオブジェクトに適用する：

エンコーダをアウトオブコアのAudioオブジェクトに適用する：

Audioオブジェクトのリストを作る：

NetEncoder["AudioSpectrogram"]を入力バッチに適用する；

スペクトログラムのNetEncoderを作る：

エンコーダをネットワークの入力に付加する：

ネットワークをAudioオブジェクトに適用する：

パラメータ  (6)

"Normalization"  (1)

Audioオブジェクトを作る：

エンコーダの指定を"Normalization"->Noneにすると，正規化は行われない：

正規化はスペクトログラムが計算される前に信号に適用されるので，結果の範囲は保証されない：

エンコーダの指定を"Normalization"->Automaticにすると，波形サンプルの最大絶対値は1.で正規化される：

結果の最小値と最大値を求める：

"SampleRate"  (2)

Audioオブジェクトを作る：

エンコーダの指定を"SampleRate"8000にすると，短時間フーリエ変換を行う前に，信号が8000Hzでリサンプリングされる：

"SampleRate"パラメータはデフォルトのウィンドウサイズの計算に影響する：

エンコーダのサンプルレートがもとの音声より低いときは，ウィンドウが短くなる：

エンコーダのサンプルレートがもとの音声より高いときは，ウィンドウが長くなる：

"TargetLength"  (1)

Audioオブジェクトを作る：

エンコーダの指定を"TargetLength"Allにすると，すべてのデータのスペクトログラムが返される：

エンコーダの指定を"TargetLength"10にすると，出力は充填ゼロで長さ10になる：

エンコーダの指定を"TargetLength"2にすると，最初の2つのパーティションのみを取る：

"WindowSize"  (1)

Audioオブジェクトを作る：

パーティションの長さは自動的に25msで計算される：

エンコーダの指定を"WindowSize"600にすると，600個のサンプルを使ったスペクトログラムが返される：

"Offset"  (1)

Audioオブジェクトを作る：

パーティションのオフセットは自動的にパーティションの長さの1/3で計算される：

エンコーダの指定を"Offset"10にすると，10個のサンプルのオフセットを持つパーティションを使って計算された短時間フーリエ変換が返される：

特性と関係  (2)

Audioオブジェクトを作る：

スペクトログラムのNetEncoderを作る：

結果の長さはCeiling[length/offset]として計算される．length はリサンプリング後の信号の長さで，offset はエンコーダの"Offset"パラメータである：

Audioオブジェクトを作る：

スペクトログラムのNetEncoderを作る：

結果の第2次元はFloor[windowSize/2+1]として計算できる．ここで，windowSize はエンコーダの"WindowSize"パラメータである：