External Memory

プログラミング周辺知識の備忘録メイン

画像分類用Neural Network

Single Shot MultiBox Detector、Crafting GBD-Net

SSD: Single Shot MultiBox Detector https://arxiv.org/abs/1512.02325CNNにおいて普通ネットワークの先端に近づくにつれて、同サイズのフィルターサイズの受容野のスケールは大きくなる。 SSDは一つのニューラルネットワークより異なるスケールの特徴マッ…

Fast/Faster R-CNN

前回のR-CNN、SPP-netの続き Fast R-CNN https://arxiv.org/pdf/1504.08083Fast R-CNNはR-CNNやSPP-netの速度や精度などを改善したものである。 いくつかのconv層とmax pooling層の後にRoI pooling layerを導入することで、 multi-task lossを用いて学習を単…

R-CNN、SPP-netの物体領域認識

R-CNN Rich feature hierarchies for accurate object detection and semantic segmentation(v5) https://arxiv.org/pdf/1311.2524.pdfテストはPASCAL VOC or ILSVRC2013を使っている。 ILSVRC2013からclassification taskの他にdetection taskが加わったよ…

ResNetとBatch Normalization

ResNet2 (https://arxiv.org/pdf/1603.05027.pdf)前回のResNet(https://arxiv.org/abs/1512.03385)の同じ著者による考察、改善バージョン。全体的な構造はほとんど変わっていないが、Residual unit部分の構造に活性化関数層とconv層の順番に変更が見られる。…

畳み込みニューラルネットワーク VGGNetとResNet + α

VGGNetとResNetはILSVRC competitionで優秀な畳み込みネットワークをだったもの。 それぞれ2014年準優勝、2015年優勝。 VGGNet https://arxiv.org/pdf/1409.1556.pdf3*3、または1*1の小さなフィルターサイズconv層を積層した深いCNNで16-19layer構成である。…

畳み込みネットワークの構造例3 All-CNN,Highway Network

All-CNN (http://arxiv.org/abs/1412.6806) 著者らは畳み込み、max-pooling、全結合層といった異なる要素の混在に対してそれぞれの要素の必要性について、例えばmax-poolingは画像認識のベンチマークの精度を損なうことなく、ストライドの大きな畳み込み層に…

畳み込みネットワーク(CNN)の構造例2-Network in NetworkとMaxout networks

NiN(Network in Network) http://arxiv.org/abs/1312.4400従来のCNNの畳み込みフィルターは一般化線形モデル(GLM)であり、 潜在的概念が線形に分離可能であるという仮定を暗黙的に行う。 しかし、GLMは抽象化能力が低く、同じ概念のデータは非線形多様体上に…

畳み込みネットワークの構造例-AlexNetとDeeply-supervised nets

AlexNet https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdfAlexNetは確か何かのImageNetコンペで他に大差をつけて優勝したチームのネットワーク構造だったはず。 論文中にはコンペ名はthe ILSVRC-201…