3.18 paper雑読
花粉がひどすぎますねえ。いつまでこうなのか。土日はarxivの更新がないのでたまった論文の消化のチャンスです。
[1802.10353v1] Relational Neural Expectation Maximization: Unsupervised Discovery of Objects and their Interactions
人間の認知に近づこう系の研究、好きです。
/What? - 人間は実世界を物理的に認識する際に物理的な「常識」を活用します。例えばボールを壁に当てたあと跳ね返ってくる速度や角度、もっと言えば跳ね返ってくること自体も「常識」として疑うことなく生活しています。この「常識」を機械学習で学ばせようという研究はたくさんありましたが、すべて教師あり(supervised)学習でした。本研究では人間と同じように教師なし(unsupervised)学習で機械学習させようという試みが行われています。
/Superior? - コアとなるのはNatural Expectation Maximization (N-EM)と呼ばれる技術です。今回N-EMに多体問題を解くようなメカニズムを導入しています。
/Next? - N-EMに関するこれと関連を見る系のこれとかこれとかこれとか
[1706.07561] A-NICE-MC: Adversarial Training for MCMC
興味ありﾏｸﾘｰのMCMCに関するものを。
/What? - MCMCを敵対的学習によって訓練するという試み。そもそもMCMCがMCをマルコフ連鎖を用いて計算の高速化・精度向上へ結びつけようという方法だったわけですがそれをさらに強化しようという狙いです。メトロポリス法において乱数と勝負させて収束させない工夫がされていたと思いますが、そこら辺をいじってるみたいです。
/Superior? - HMC(Hamiltonian Monte Calro)より良い性能となったとのこと。
/Next? - MCMCの勉強をしてる途中ですのでそれを続けようというお気持ちです。今は伊庭先生の配信授業を終えたところです。実装しなくては...。あとこの論文で示されている手法の実装もありますので貼っておきます。
[1803.05598] Large Margin Deep Networks for Classification
/What? - 新規性自体は損失関数のみです。具体的には有限次元におけるp-ノルム(p-乗平均ノルム)を使うことができるとのことです。これがどういう良さがあるのかは勉強不足でわかりません。
/Superior? - 頑健性向上とMNIST・CIFAR-10・Imagenetでの精度向上を確認しています。
/Next? - こういうのは知っておくだけでいいんですかね。いざ使うというときに式変形をおっておけばいいのかな。
金曜のarxivの更新でストックリストが大幅に更新されました。頑張って読みます。あと、来週1週間田舎に行くので論文読みがはかどるデバイスを買いたいと思っています。SONYのデジタルペーパー欲しい
