読者です 読者をやめる 読者になる 読者になる

橙色の日々を。

わたくし橙乃が気になったことをクリップするブログ。

【Deep Learning】ARCNNの論文をツールに通して雑に訳す【続・導入】

自らの意志で分割できたよかった。

 

続、でおちゃにごす。

 

ARCNN・訳・続・導入

 

 

こんにちは、橙乃巻です。

 

開幕してから開幕してませんでしたね。。。

 

「翻訳」内容に関しては一切の責任を問いません。

前とは全然構造が違うタイプですな。

 

読みたい論文がたくさんあるんですが

いかんせん時間がないよ。
 

参考程度にどうぞ!

 

本文は以下より。

Deep Convolution Networks for Compression Artifacts Reduction

https://arxiv.org/pdf/1608.02778.pdf

 

<続・導入>

  1. しかし、別のレイヤーを追加するとネットワーク規模が大きく増加し、現実世界のアプリケーションに適用するのが難しくなる
  2. 一般に、高い計算コストは​​、ほとんどの従来の方法にとって大きなボトルネックとなっている[45]。
  3. ネットワーク構造を掘り下げる際、推論の速度を制限する2つの重要な要素があります。
  4. 第1に、追加された「フィーチャ強化」層は、総パラメータのほぼ95%を占める。
  5. 第2に、完全畳み込み構造を採用すると、入力画像の空間的な大きさによって時間の複雑さが二次的に増加する。
  6. 推測プロセスを加速して良好なパフォーマンスを維持するために、我々は2つの主な変更を加えたより効率的なフレームワークを調査する。
  7. 冗長パラメータの場合、最初の2つのレイヤーの間に1x1フィルターを含む別の「縮小」レイヤーを挿入する。
  8. 畳み込みの計算負荷が大きい場合、最初のレイヤーでは大きなストライド畳み込みフィルターを使用し、最後のレイヤーでは対応するデコンボリューションフィルターを使用する。
  9. 中間層の畳み込み演算は、より小さな特徴マップ上で実行され、より迅速な推論につながる。
  10. 実験では、修正されたネットワーク、すなわちFast AR-CNNが、ほとんど性能損失なくベースラインのAR-CNNより7.5倍速くなることが示されている。
  11. これはさらに、低レベルの視力問題のためのより一般的なCNNフレームワークを策定するのに役立つ。
  12. 我々はまた、従来のマルチレイヤパーセプトロンとの密接な関係を明らかにした[3]。
  13. 私たちが会ったもう一つの問題は、より深いDCNを効果的に訓練する方法です。
  14. SRCNN [7]で指摘されているように、5層ネットワークのトレーニングはボトルネックになります。
  15. トレーニングの難しさは、部分的に最適化された初期設定によるものです。
  16. 前述の困難さは、低レベルの視力問題のより深いモデルを訓練するためのよりよい方法を調査するよう動機づける。
  17. これは、浅いネットワークで学習されたフィーチャをより深いフィーチャに転送し、同時に微調整することで効果的に解決できます。
  18. この戦略は、画像分類のためのより深いCNNの学習においても成功していることが証明されている[32]。
  19. 同様の一般的な直感的なアイデアに従い、単純で複雑な(!?)、私たちは低レベルのビジョンタスクで他の面白い転送設定を発見する。
  20. (1)高品質の圧縮モデルで学習したフィーチャを低品質のフィーチャモデルに転送し、ランダム初期化より高速に収束することを確認する。
  21. (2)実際のユースケースでは、企業は目的に応じて異なる圧縮戦略(リスケーリングを含む)を適用する傾向がある(図1(b)など)。
  22. 私たちは、標準の圧縮モデルで学んだ機能を(より簡単に)実際のユースケース(難しい)に移し、最初から学習するよりも優れた性能を発揮する。
  23. この研究の貢献は4つある。
  24. (1)様々な圧縮アーチファクトを効果的に低減するための新しい深い畳み込みネットワークを定式化する。
  25. 実際の使用例を含む広範な実験は、知覚的にも定量的にも最先端の方法[8]に対する我々の方法の有効性を実証している[8]。
  26. (2)ベースラインモデルのAR-CNNを徐々に変更し、最先端のパフォーマンスを維持しながらベースラインのAR-CNNと比較して7:5xの速度を達成する、より効率的なネットワーク構造を提示する。
  27. (3)浅いネットワークで特徴を再利用することは、圧縮成果物削減のより深いモデルを学習する上で有用であることを検証する。
  28. 直感的なアイデアの下で、難しいほど簡単に、私たちはいくつかの面白い、実際的な転送設定を明らかにする。
  29. この作品の暫定版は以前に発表されている[5]。
  30. この作業では、方法論と実験の両方で大幅な改善を行う。
  31. まず、方法論では、提案モデルの計算コストを分析し、時間効率に影響を与える2つの重要な要素を指摘する。
  32. 次に、対応する加速戦略を提案し、ベースラインモデルをより一般的かつ効率的なネットワーク構造に拡張する。
  33. 実験では、パフォーマンスをさらに向上させるためにデータ拡張を採用している。
  34. また、JPEG 2000画像の実験を行い、最先端の手法と比較して優れた性能を示している[18]、[28]、[29]。
  35. 新しいフレームワークのネットワーク設定の詳細な調査については、後ほど説明する。

 

導入終わり!

え、関連研究じゃなかったの?w

 

次回、「関連研究」編。