WOLFRAM

Wolfram言語 ＆ システムドキュメントセンター
コンピュータビジョン

コンピュータビジョン

画像分類画風変換
学習済みの埋込みセマンティックセグメンテーション（画素分類）
画像分類

MNISTによる数字分類

たたみ込みニューラルネットワークを使って，手書き数字のMNISTデータベースで数字認識子を訓練する．
まず，訓練データと検証データを取得する：
Wolfram Language code: resource = ResourceObject["MNIST"]
Wolfram Language code: trainingData = ResourceData[resource, "TrainingData"]; testData = ResourceData[resource, "TestData"];
Wolfram Language code: RandomSample[trainingData, 5]
入力として28×28のグレースケール画像を取る，たたみ込みニューラルネットワークを定義する：
Wolfram Language code: lenet = NetChain[{ ConvolutionLayer[20, 5], Ramp, PoolingLayer[2, 2], ConvolutionLayer[50, 5], Ramp, PoolingLayer[2, 2], FlattenLayer[], 500, Ramp, 10, SoftmaxLayer[]}, "Output" -> NetDecoder[{"Class", Range[0, 9]}], "Input" -> NetEncoder[{"Image", {28, 28}, "Grayscale"}] ]
訓練ラウンドを3回行ってネットワークを訓練する．NetTrainはデコーダに提供されたのと同じクラスを使って，自動的にCrossEntropyLossLayerを加える：
Wolfram Language code: results = NetTrain[lenet, trainingData, All, ValidationSet -> testData, MaxTrainingRounds -> 3] trained = results["TrainedNet"]
検証集合からランダムに抽出した画像で，訓練されたネットワークを直接評価する：
Wolfram Language code: imgs = Keys @ RandomSample[testData, 5]; Thread[imgs -> trained[imgs]]
トクテイの入力に対するすべてのクラスの確率推定を得る：
Wolfram Language code: trained[[image], "Probabilities"]
NetMeasurementsを使って，検証集合に対する，訓練されたネットの分類性能をテストする：
Wolfram Language code: NetMeasurements[trained, testData, "Accuracy"]
Wolfram Language code: NetMeasurements[trained, testData, "ConfusionMatrixPlot"]

CIFAR-10のオブジェクト分類

ラベル付き画像のCIFAR-10データベースを使って，各オブジェクトのクラスを予測するたたみ込みネットを訓練する．まず，訓練データを取得する：
Wolfram Language code: obj = ResourceObject["CIFAR-10"]; trainingData = ResourceData[obj, "TrainingData"]; RandomSample[trainingData, 5]
一意のクラスを抽出する：
Wolfram Language code: classes = Union@Values[trainingData]
画像が与えられたときにクラスを予測するたたみ込みネットを作成する：
Wolfram Language code: lenet = NetChain[ {ConvolutionLayer[20, 5], Ramp, PoolingLayer[2, 2], ConvolutionLayer[50, 5], Ramp, PoolingLayer[2, 2], FlattenLayer[], 500, Ramp, 10, SoftmaxLayer[]}, "Output" -> NetDecoder[{"Class", classes}], "Input" -> NetEncoder[{"Image", {32, 32}}] ]
訓練データでネットを訓練する：
Wolfram Language code: results = NetTrain[lenet, trainingData, All, MaxTrainingRounds -> 4] trained = results["TrainedNet"]
画像の集合について，最も可能性の高いクラスを予測する：
Wolfram Language code: trained[{[image], [image], [image], [image], [image]}]
特定の例では，最も可能性の高いラベルの割当ての確率が与えられる：
Wolfram Language code: trained[[image], {"TopProbabilities", 3}]
ランダムなサンプルから，ネットが最高および最低のエントロピー予測を行う画像を選ぶ．高エントロピー入力は，ネットが正しいクラスについて最も不確かとする入力として解釈される：
Wolfram Language code: images = RandomSample[Keys[trainingData], 5000];
Wolfram Language code: entropies = trained[images, "Entropy"];
Wolfram Language code: Labeled[images[[Ordering[entropies, -10]]], "high entropy"] Labeled[images[[Ordering[entropies, 10]]], "low entropy"]
学習済みの埋込み
MNISTデータベースの数字の埋込みを学習する．
まずデータをインポートし，0から4までのラベルを持つ例だけを取る：
Wolfram Language code: mnist = Select[ResourceData["MNIST"], Last[#] < 5&];
画像のペアを抽出し，それらのラベルが異なっていればTrue，同じならばFalseと関連付けることで，訓練集合を作成する：
Wolfram Language code: toRule[{img1_ -> l1_, img2_ -> l2_}] := {img1, img2} -> l1 ≠ l2;
Wolfram Language code: trainingData = Table[toRule@RandomSample[mnist, 2], 10000]; Take[trainingData, 4]
埋込みネットワークとして使用するたたみ込みネットを定義する：
Wolfram Language code: lenet = NetChain[{ ConvolutionLayer[10, 4], Ramp, PoolingLayer[2, 2], ConvolutionLayer[20, 4], Ramp, PoolingLayer[2, 2], FlattenLayer[], 2}, "Input" -> NetEncoder[{"Image", {28, 28}, "Grayscale"}]]
埋め込みネットを構築する：
Wolfram Language code: net = NetPairEmbeddingOperator[lenet]
ネットワークを訓練する：
Wolfram Language code: results = NetTrain[net, trainingData, All] trained = results["TrainedNet"]
数字のペアのリストにネットワークを適用し，埋め込みの下での距離を計算する．同じラベルを持つ数字同士の距離は小さい：
Wolfram Language code: trained[{{[image], [image]}, {[image], [image]}, {[image], [image]}}]
埋込みネットワークを抽出する：
Wolfram Language code: embedding = NetExtract[trained, "Net"]
数字の埋込みを計算する：
Wolfram Language code: embedding[[image]]
500個の数字を抽出し，ラベルでグループ分けする：
Wolfram Language code: groups = KeySort@GroupBy[RandomSample[mnist, 2000], Last -> First];
埋込みを計算し，プロットする．同じラベルを持つ数字は学習済みの埋め込みの下でクラスタ化される：
Wolfram Language code: points = Map[embedding /* Normal, groups];
Wolfram Language code: ListPlot[Table[points[[i]], {i, 1, 5}], PlotLegends -> Range[0, 4], Axes -> False, FrameTicks -> False, Frame -> True, PlotStyle -> PointSize[0.012], AspectRatio -> 1]
画風変換
ある画像の内容で，別の画像の画風を使って新しい画像を作成する．この実装はGatys，その他の人によって書かれた「A Neural Algorithm of Artistic Style」で説明されている方法に従っている．
内容と画風の画像の例：
Wolfram Language code: contentImg = [image]; styleImg = [image];
この両方の画像を組み合せた画像を作成するためには，まず学習前の画像分類ネットワークを取得する：
Wolfram Language code: vggNet = NetModel["VGG-16 Trained on ImageNet Competition Data"];
画像の画風と内容の特徴抽出器として使われる層を取る：
Wolfram Language code: featureNet = Take[vggNet, {1, "relu4_1"}]
3つの損失関数が使われる．最初の損失は，合成画像の内容が内容画像の内容と似ていることを示している：
Wolfram Language code: contentLoss = NetGraph[{MeanSquaredLossLayer[]}, {1 -> NetPort["LossContent"]}]
2つ目の損失は，合成画像の画風が画風画像の画風と似ていることを示す．画風の類似性は，入力とターゲットのグラム行列の間の平均二乗差として定義される：
Wolfram Language code: gramMatrix = NetGraph[{FlattenLayer[-1], TransposeLayer[1 -> 2], DotLayer[]}, {1 -> 3, 1 -> 2 -> 3}];
Wolfram Language code: styleLoss = NetGraph[{gramMatrix, gramMatrix, MeanSquaredLossLayer[]}, {NetPort["Input"] -> 1, NetPort["Target"] -> 2, {1, 2} -> 3, 3 -> NetPort["LossStyle"]}]
3つ目の損失は，合成画像の隣接画素の明度差の大きさが小さいことを確認する．これにより合成画像がより自然に見える：
Wolfram Language code: l2Loss = NetGraph[{ThreadingLayer[(#1 - #2) ^ 2&], SummationLayer[]}, {{NetPort["Input"], NetPort["Target"]} -> 1 -> 2}];
Wolfram Language code: tvLoss = NetGraph[<| "dx1" -> PaddingLayer[{{0, 0}, {1, 0}, {0, 0}}, "Padding" -> "Fixed" ], "dx2" -> PaddingLayer[{{0, 0}, {0, 1}, {0, 0}}, "Padding" -> "Fixed"], "dy1" -> PaddingLayer[{{0, 0}, {0, 0}, {1, 0}}, "Padding" -> "Fixed" ], "dy2" -> PaddingLayer[{{0, 0}, {0, 0}, {0, 1}}, "Padding" -> "Fixed"], "lossx" -> l2Loss, "lossy" -> l2Loss, "tot" -> TotalLayer[]|>, { {"dx1", "dx2"} -> "lossx", {"dy1", "dy2"} -> "lossy", {"lossx", "lossy"} -> "tot" -> NetPort["LossTV"]}]
任意の内容および画風の画像に対する，最終的な訓練集合を作成する関数を定義する．この関数はランダムな初期画像も作成する：
Wolfram Language code: createTransferNet[net_, content_Image, styleFeatSize_] := Module[ {dims = Prepend[3]@Reverse@ImageDimensions[content]}, NetGraph[<| "Image" -> NetArrayLayer["Array" -> RandomReal[{-0.1, 0.1}, dims]], "imageFeat" -> NetReplacePart[net, "Input" -> dims], "content" -> contentLoss, "style" -> styleLoss, "tv" -> tvLoss|>, {"Image" -> "imageFeat", {"imageFeat", NetPort["ContentFeature"]} -> "content", {"imageFeat", NetPort["StyleFeature"]} -> "style", "Image" -> "tv"}, "StyleFeature" -> styleFeatSize ] ]
予測された画像を可視化するためのNetDecoderを定義する：
Wolfram Language code: meanIm = NetExtract[featureNet, "Input"][["MeanImage"]]
Wolfram Language code: results = NetTrain[net, trainingdata, All, LossFunction -> lossSpec, LearningRateMultipliers -> {"Image" -> 1, _ -> None}, TrainingProgressReporting -> Function[decoder[#Weights[{"Image", "Array"}]]], MaxTrainingRounds -> 300, BatchSize -> 1, Method -> {"ADAM", "LearningRate" -> 0.05} ] trainedNet = results["TrainedNet"]
訓練データは，内容と画風の画像から抽出された特徴で構成される．特徴抽出関数を定義する：
Wolfram Language code: extractFeatures[img_] := NetReplacePart[featureNet, "Input" -> NetEncoder[{"Image", ImageDimensions[img], "MeanImage" -> meanIm}]][img];
内容および画風の特徴の単独の例からなる訓練集合を作成する：
Wolfram Language code: trainingdata = <| "ContentFeature" -> {extractFeatures[contentImg]}, "StyleFeature" -> {extractFeatures[styleImg]} |>;
入力次元が内容および画風の画像の次元に対応する訓練ネットを作成する：
Wolfram Language code: net = createTransferNet[featureNet, contentImg, Dimensions@First@trainingdata["StyleFeature"]];
訓練する場合，内容と画風の相対的重要性を設定するために，3つの損失関数には異なる重みが付けられる．これらの値は内容と画風の画像によって変更される必要がある場合がある．最終的な損失を，3つの損失の合計として定義する損失指定を作成する：
Wolfram Language code: perPixel = 1 / (3 * Apply[Times, ImageDimensions[contentImg]]); lossSpec = {"LossContent" -> Scaled[6. * 10 ^ -5], "LossStyle" -> Scaled[0.5 * 10 ^ -14], "LossTV" -> Scaled[20. * perPixel]};
NetTrainを使って画像を最適化する．LearningRateMultipliersを使って，NetArrayLayer以外のネット内のすべてのパラメータを凍結する．CPU訓練でより結果を得るには最大1時間かかるので，訓練はGPUで行うのがよい．訓練は，評価 ▶ 評価を放棄を使っていつでも中止することができる：
Wolfram Language code: results = NetTrain[net, trainingdata, All, LossFunction -> lossSpec, LearningRateMultipliers -> {"Image" -> 1, _ -> None}, TrainingProgressReporting -> Function[decoder[#Weights[{"Image", "Array"}]]], MaxTrainingRounds -> 300, BatchSize -> 1, Method -> {"ADAM", "LearningRate" -> 0.05}, TargetDevice -> "GPU" ] trainedNet = results["TrainedNet"]
訓練されたネットのNetArrayLayerから最終画像を抽出する：
Wolfram Language code: decoder[NetExtract[trainedNet, {"Image", "Array"}]]
セマンティックセグメンテーション（画素分類）

Toyテキストデータセットのセマンティックセグメンテーション

単語の画像のすべての画素を，背景の一部あるいはaからzまでの1つの文字の一部として分類するネットを訓練する．
まず訓練データと検証データを生成する．これは単語の画像，および各画素にラベルを付ける対応する「マスク」整数行列からなる：
Wolfram Language code: imgMap = <|" " -> [image], "a" -> [image], "b" -> [image], "c" -> [image], "d" -> [image], "e" -> [image], "f" -> [image], "g" -> [image], "h" -> [image], "i" -> [image], "j" -> [image], "k" -> [image], "l" -> [image], "m" -> [image], "n" -> [image], "o" -> [image], "p" -> [image], "q" -> [image], "r" -> [image], "s" -> [image], "t" -> [image], "u" -> [image], "v" -> [image], "w" -> [image], "x" -> [image], "y" -> [image], "z" -> [image]|>;
Wolfram Language code: class = 0; maskMap = Map[1 + class++ * (1 - ImageData[Binarize[#, 0.7]])&, imgMap];
Wolfram Language code: maxLen = 7; wordList = Select[WordList[], StringLength[#] ≤ maxLen && LetterQ[#]&]; wordList = RandomSample@StringPadRight[ToLowerCase[wordList], maxLen];
Wolfram Language code: rules = Map[ ImageAssemble[Lookup[imgMap, #]] -> MapThread[Join, Lookup[maskMap, #]]&, Characters[wordList]]; Length[rules]
Wolfram Language code: {testData, trainData} = TakeDrop[rules, Ceiling[Length[rules] / 10]];
クラスの数を取得する：
Wolfram Language code: classNum = Max[maskMap]
それぞれのクラスインデックスに色を割り当てる：
Wolfram Language code: colorRules = Thread[Range[classNum] -> Prepend[RandomColor[classNum - 1], White]]
訓練集合の入力画像からランダムなサンプルを取得する：
Wolfram Language code: RandomSample[Keys@trainData, 5]
1つの例のマスク配列を可視化する．ここで，それぞれの色は特定のクラスを表している：
Wolfram Language code: ArrayPlot[trainData[[1005, 2]], ColorRules -> colorRules]
1つの画像を取り，画像の中のすべての画素に対する確率ベクトルを返すたたみ込みネットを定義する：
Wolfram Language code: basicBlock[channels_, kernelSize_, opts___] := NetChain[{ConvolutionLayer[channels, kernelSize, opts], BatchNormalizationLayer[], Ramp}]
Wolfram Language code: net = NetChain[{ (* bottleneck layers *) basicBlock[32, 1], basicBlock[32, 1], basicBlock[32, 1], basicBlock[32, 3, "Stride" -> 2, "PaddingSize" -> 1], basicBlock[64, 1], basicBlock[32, 1], basicBlock[32, 3, "PaddingSize" -> 1], basicBlock[64, 1], (* upsample layers *) basicBlock[32, 1], DeconvolutionLayer[32, {3, 2}, "Stride" -> 2, "PaddingSize" -> 1], basicBlock[64, 1], PaddingLayer[{{0, 0}, {0, 0}, {0, 1}}], ConvolutionLayer[classNum, 1], (* classification layers *) TransposeLayer[{1  3, 1  2}], SoftmaxLayer[]}, "Input" -> NetEncoder[{"Image", ImageDimensions[trainData[[1, 1]]], "Grayscale"}]]
CPU訓練には最大1時間かかる可能性があるため，GPU訓練が推奨される．ネットを訓練する：
Wolfram Language code: results = NetTrain[net, trainData, All, ValidationSet -> testData, MaxTrainingRounds -> 9 ] trainedNet = results["TrainedNet"]
各画素において最も確率の高いクラスのインデックスを与える予測関数を作成する：
Wolfram Language code: pixelPredict[net_, image_] := Map[First@Ordering[#, -1]&, Normal@net[image], {2}]
健勝集合の画像の画素クラスを予測する：
Wolfram Language code: img = testData[[-7, 1]]
Wolfram Language code: ArrayPlot[pixelPredict[trainedNet, img], ColorRules -> colorRules]
例の実際のターゲットマスクをプロットする：
Wolfram Language code: ArrayPlot[testData[[-7, 2]], ColorRules -> colorRules]
指定された画素がある特定のクラスになるような確率のソートされたリストを取得する：
Wolfram Language code: prob = trainedNet[[image]][[10, 11]]; Sort[Thread[Keys@imgMap -> Normal@prob], #1[[2]] > #2[[2]]&]
文字列をラスタ化してから，各画素の最も可能性の高いクラスに対応するインデックスの行列を与えるために訓練されたネットを適用する関数を定義する：
Wolfram Language code: stringPredict[net_, str_] := pixelPredict[net, ImageAssemble[Lookup[imgMap, Characters@StringPadRight[str, maxLen]]]]
ある文字は別の文字と簡単に識別される：
Wolfram Language code: ArrayPlot[stringPredict[trainedNet, "abcdefg"], ColorRules -> colorRules]
識別が難しいものもある：
Wolfram Language code: ArrayPlot[stringPredict[trainedNet, "hqx"], ColorRules -> colorRules]
検証集合で，訓練されたネットの画素レベルの確度を求める：
Wolfram Language code: 1. - Mean@Flatten[Unitize[Map[pixelPredict[trainedNet, #]&, Keys[testData]] - Values[testData]]]