・FLOPs(Floating Point Operations)浮動小数点計算量=つまり計算回数が36億回Residualモデル右にあるResidualモデルはプレーンモデルにSkip Connectionを2層置きに加えただけで、残りは全く一緒。チャネル数が途中増えているが、その場合は2択で対応する。(...
通常モデルの学習は32ビット浮動小数点型で実行されるが、NVIDIA V100のようなTensorCoreを採用した、VoltaやTuringのアーキテクチャを使用することで、16ビットでの計算も可能になりました。 16ビットでの計算に変更することで、V100の場合はおおよそ2倍から3倍にまで計算速度が向上しています。 Mode...