財産目録

読書記録や思考記録、勉強記録として使います。

4.3 paper雑読

法事関連でドタバタした一週間を終え、新学期に向けて英気を養う(ひたすら寝る)期間に入りました。法事期間中も測度論とPRMLをしっかりやることはできたので、続けたいですね。

 

[1708.08396] Controlled Sequential Monte Carlo

/What? - 逐次モンテカルロ法、粒子フィルタリングとして知られるSMCはデータのサイズが多くなればなるほどよい精度を得るために必要な粒子数が増え計算が困難になります。この問題を解決するため、本研究では統計モデルをカバーするために既存の手法の拡張と各反復での最適制御を効率化しています。

/Next? - こういう工夫系、面白そうですね。今やってるjuliaでモンテカルロを一通り終えたら戻ってきたいです。これとかこれとか。

 

 

[1803.06386] Forecasting Economics and Financial Time Series: ARIMA vs. LSTM

行間をたっぷりとってあるレイアウトだと同じ行を何回も読むというミスがほとんどなく、ストレスを感じないんですよね。この論文のレイアウトはちょうどいいです。Texas Tech Universityありがとう。

/What? - 題名通り、比較実験の報告論文です。古典的な統計的予測手法であるARIMAと最近はやりのLSTMで経済関連の時系列データを学習・予測、その結果のエラー率で比較しています。結果は、LSTMの圧勝。古典的手法ではepoch的な学習時間を増やしてもその予測精度には影響が見られなかったことも報告しています。

/Next? - 新しいものに駆逐されていくARIMAを看取る会みたいな趣ですが、ARIMAが中身で何をやっているのか気になる。参考文献としてはこの本をあげているんですが、中身の解説は本論文内でやってます。読むべきリストに追加(ピピピ

 

 

[1803.08118] Seglearn: A Python Package for Learning Sequences and Time Series

/What? - 論文というよりpythonパッケージの紹介ですね。主にscikit-learnに関連して時系列データをスライド窓等を使って分割し学習する際に用いることができるものです。便利そうですねというぐらいですが。

 

 

バーっと読んできて自分の興味が分かってきたと同時に進路的なものも考えていますがどうしたものやらという感じです。統計関連は非常に面白く興味はあるんですが本質かどうかという話になるとなかなかそうは思えません。まあ自分が本質的だと思うことを職にしている人なんてほとんどいなくて、皆妥協して生活しているだとは思うんですがね。

 

3.20 paper雑読

Vtuberの表情って演者がコントローラーで操作してるらしいときいてめちゃめちゃ大変だなと思いました。視線とかも自分で動かしてるんですって、あとから編集するのじゃダメなのかな。

 

 

[1803.05428] A Hierarchical Latent Vector Model for Learning Long-Term Structure in Music

/What? - 教師なし学習のモデルとして有名なVAEに関する研究です。深層潜在変数モデルを長い連続データに応用できることを示し、MusicVAEを公開しています。

/Next? - いやーこれねー、音楽系だしちゃんと読みたいんですけどいかんせん知識が足りないですね。これとかこれとか読んで式を追う時間を取るべき。

 

 

[1709.03658] End-to-End Waveform Utterance Enhancement for Direct Evaluation Metrics Optimization by Fully Convolutional Neural Networks

/What? - 音声強調分野の研究です。人間の音声認識機能で大きな特徴と言える「聴こうと思ったものが聴こえてくる」現象に近づこうというのが目標です。本研究では目的関数の更新が主な成果のようで発話単位での音声強調を実現しています。

/Next? - 先行研究のupdateという形の研究なのでこれを読む必要がありそうです。

 

 

たくさん読んできたおかげで自分の興味範囲もわかってきてしっかり読む必要のある論文も絞れるようになりました。よかった。

ただ詳細を追う必要のある論文もたまってきているのでしっかりタスク管理して消化していきたいですね。

3.18 paper雑読

花粉がひどすぎますねえ。いつまでこうなのか。土日はarxivの更新がないのでたまった論文の消化のチャンスです。

 

[1802.10353v1] Relational Neural Expectation Maximization: Unsupervised Discovery of Objects and their Interactions

人間の認知に近づこう系の研究、好きです。

/What? - 人間は実世界を物理的に認識する際に物理的な「常識」を活用します。例えばボールを壁に当てたあと跳ね返ってくる速度や角度、もっと言えば跳ね返ってくること自体も「常識」として疑うことなく生活しています。この「常識」を機械学習で学ばせようという研究はたくさんありましたが、すべて教師あり(supervised)学習でした。本研究では人間と同じように教師なし(unsupervised)学習で機械学習させようという試みが行われています。

/Superior? - コアとなるのはNatural Expectation Maximization (N-EM)と呼ばれる技術です。今回N-EMに多体問題を解くようなメカニズムを導入しています。

/Next? - N-EMに関するこれと関連を見る系のこれとかこれとかこれとか

 

 

[1706.07561] A-NICE-MC: Adversarial Training for MCMC

興味ありマクリーのMCMCに関するものを。

/What? - MCMCを敵対的学習によって訓練するという試み。そもそもMCMCがMCをマルコフ連鎖を用いて計算の高速化・精度向上へ結びつけようという方法だったわけですがそれをさらに強化しようという狙いです。メトロポリス法において乱数と勝負させて収束させない工夫がされていたと思いますが、そこら辺をいじってるみたいです。

/Superior? - HMC(Hamiltonian Monte Calro)より良い性能となったとのこと。

/Next? - MCMCの勉強をしてる途中ですのでそれを続けようというお気持ちです。今は伊庭先生の配信授業を終えたところです。実装しなくては...。あとこの論文で示されている手法の実装もありますので貼っておきます。

github.com

 

 

[1803.05598] Large Margin Deep Networks for Classification

/What? - 新規性自体は損失関数のみです。具体的には有限次元におけるp-ノルム(p-乗平均ノルム)を使うことができるとのことです。これがどういう良さがあるのかは勉強不足でわかりません。

/Superior? - 頑健性向上とMNIST・CIFAR-10・Imagenetでの精度向上を確認しています。

/Next? - こういうのは知っておくだけでいいんですかね。いざ使うというときに式変形をおっておけばいいのかな。

 

 

金曜のarxivの更新でストックリストが大幅に更新されました。頑張って読みます。あと、来週1週間田舎に行くので論文読みがはかどるデバイスを買いたいと思っています。SONYのデジタルペーパー欲しい

3.15 paper雑読

トポロジー関連の教科書を買っておいてあります。いつやるのだろうか...ファインマンのⅤも読まなきゃだし...岩波ファインマンのページの端を空けて「メモってね」と言いたげなつくりは好みです。

 

CHAR2WAV: END-TO-END SPEECH SYNTHESIS

arxivじゃないですが、タコトロンからの流れです。

/What? - End-to-End音声合成の一つの形です。今までの音声合成はfrontend/backendに分かれており、それぞれがテキストを言語特徴量に変換/言語特徴量から音声に変換という分担をしていました。が、今回のChar2Wavは分けずに一つのモデルでやってしまおうという欲張りセットになっています。

/Superior? - 2つのモデルを使う従来法と比べて、言語的な知識が不要となり新しい言語への応用が簡単になります。

/Next? - Gravesのこれの応用とのことなのでこれを読みます。

 

[1803.03916] Deep reinforcement learning for time series: playing idealized trading games

時系列データ系の論文を今日も。

/What? - 強化学習において時系列データは扱いづらいものの一つです。前後の相関が強いためQ-learningにおけるQ値の更新が自然に行われません。そのための手法がexperience replayです。この論文ではdeep Q-learningの構造にRNNやCNNとその亜種を採用して時系列データを訓練データとして扱えるようにしたという実験です。

/Superior? - 比較実験の結果、1変数ゲームではGRUが、2変数ゲームではMLPが最も良い結果を示した。

/Next? - 強化学習系も最初から一度やらねばと毎回いってますがやらねば。

 

[1803.03759] Speech Recognition: Keyword Spotting Through Image Recognition

音声系です。

/What? - kaggleで開催されていたTensorFlow Speech Recognition Challengeに参加したグループの論文です。発話の中からキーワードのみをテキストに落としていくことで実際人間がやっている音声処理に近いことを実現するとともに、マシンパワーに制限がある状態でも動作するようなモデルを目指しています。

/Superior? - キーワードのみの境界検出ともいえるタスク設定なのでCNNを用いています。しかし音声ファイルというのは長い1次元ベクトルであるため、従来からある画像界隈で使われているCNNに対応していません。そこで、スペクトログラムを計算し、2次元に変換して訓練データにしています。その結果最大92%の正答率を得ています。

/Next? - kaggle実装とか見てみたいんですが...と思ったらありましたね、ありがたく読ませていただきます。

github.com

 

毎日やってると溜まりに溜まりますね...しょうがないか

3.14 paper雑読

吉本隆明を全く分からないまま読んでます。共同幻想論はわかる日が来るんですかね...

[1802.06167] CapsuleGAN: Generative Adversarial Capsule Network

話題になりましたよね、カプセルギャン。

/What? - 生成系で最も期待されているGANにCapsNetsを応用、というのがこの論文です。CapsNetsはヒントン大先生の秘蔵っ子でpowerful alternative to CNNsという一節がすべてを表しています。詳しい内容は下記のブログ記事を参照していただきたいですが、簡単には人間のものの認識の仕方として境界をどうとっているかを再現したのがCNNで、Capsule Netsではもっと大きな要素間の位置関係まで再現しようというのが根本のアイデアです。この論文ではGANの2要素generator/discriminatorのうちdiscriminatorにCapsule Netsを応用しています。

medium.com

/Superior? - CNNベースのGANより少ない訓練データで生成モデルを構築可能。

 

/Next? - 何はともあれ実装がみたい!と思ったらありました。中身を読みたい。

github.com

[1712.08645] Dropout Feature Ranking for Deep Learning Models

この論文の全体のデザインきれいで好きです。何かの学会のフォーマットかな。

/What? - ブラックボックス化することで悪名高いDNNをどうにかして解釈可能な形にしようという方法論の一つ。Dropoutは中間のノードをランダムに50%で無視して(Dropoutして)DNNの汎化性能を上げようというもの。この論文ではDropoutをランダムではなく順位付けしてから行うことで各層に意味を持たせようとしています。

/Superior? - 性能向上はなく新手法でも従来と同様の結果を得られたというのが締めです。時間かかってしまいそうな手法ですしね。

/Next? - 似たような発想で特徴量選択を行っている論文がありますのでそれですかね。これ

 

Natural and Artificial Intelligence

これは論文ではなくブログ記事です。

/What? - 題名の通り「人工知能」と私たちが持っている(と信じている)「自然知能」を比較し、その違いを論じたうえでコンピュータ上で数学の理論の組み合わせでできた人工知能が自然知能を置き換えることはないという結論で締めています。言っていることは常日頃僕も思っていたことでいい言語化をありがとうというところなんですが、特に自然界と人間のデザインした機械ではrobustnessとefficiencyという全く異なるものを目指しているという論は綺麗です。まあ今ある程度のものを「知能」と呼ぶなという当たり前の話ですね。

 

 

 

今日はこれも読んだんですがわからなかった...。さすがにまだ統計よりの長めの論文を読める知識がありませんでした。MCまわりの勉強等々を終えたら(いつ)戻ってきたいです。というかmonte carlo周りの勉強の参考書ってなにかおススメありましたら是非ご教授ください…。

 

実ははじめての学会を経験してきました。自分の研究を紹介して意見交換するというのはなかなかいいものですね、モチベーションになりました。雇用が終わるのでいったんは終了なんですがまた卒業研究等でこの経験を活かしたいです。

3.13 paper雑読

/より.のほうが見た目イイですね。

新しいものも読んでましたが忙しくて書き残す時間なく...

昔というか影響力の強いものも読んだのでそれも含めて。

 

 

 

[1703.10135] Tacotron: Towards End-to-End Speech Synthesis

Tacotronです。HPが絶妙にダサい。

/What? - googleのEnd-to-End音声合成の試みの一つ。テキストと音声のペアがあればタコは完璧になるとのこと。

/Superior? - ここ結構この論文の一番いいところな気がします。今までのGoogle音声合成の試みを概観し、それぞれの特徴がよくまとまっています。またちゃんと1本で書きたい。

 

/Next? - Ryuichi Yamamotoさんのpytorch実装一択ですね。動かすのが今年度の目標(あと何日なの...?)。

github.com

 

[1802.05910] Pattern Localization in Time Series through Signal-To-Model Alignment in Latent Space

/What? - 時系列データからパターンを認識することについて。タスクとしてははsignalをmodelに変換する(S2M)。

/Superior? - 従来法は入手可能なモデルから時系列データを合成し、ターゲットの時系列データを当てはめていくものだが、最初の合成の困難さと同じモデルに複数のパターンが属しているという困難さが欠点だった。本研究で機械学習により時系列データを潜在相関空間(latent correlation space)にマッピングして、変換を行う実験をした。

 

/Next? - 音声関連を基本的に追っていたので、音にかかわらない時系列データはネタの宝庫なのでは?関連研究をしっかり追いたい。

 

Math book

論文じゃないんですが紹介させてください。

/What? - 統計物理学者の田崎晴明氏が公開している学部1,2年向きの数学の教科書。いわゆる物理数学だがその内容は数学全般を広くカバーしてあります。まだ全部読み切ってはないんですが、「あれここなんだっけ」というときにも細かい証明まで書いてあるので非常に便利です。おススメ。

 

Requests for Research

ruder.io

これも論文ではないですが。

NLPの研究者によるNLPにおける研究課題。現時点で

  1. タスクごとのdata augmentation
  2. 少ないサンプルからの学習
  3. 転移学習
  4. 異言語間のNLP
  5. タスクごとのアーキテクチャの改善

の5つについて書かれています。個人的にNLPでのdata augmentationを考えたことがなかったので面白いと思いました。

 

まとまりはないですがこんなところで。ちゃんと1本で記事を書きたい論文がいくつかあるので時間を作ります。あと最近はjuliaでmonte carlo周りを触っているので仕上がったら宣伝がてらgithubごとあげます。

 

 

2/16 paper雑読

ML/DL系に偏ってるのは雑読できる環境を知っているのがこの界隈だけだから。ほんとはmath/chem/phys系も読みたい(環境知ってる人いたら教えてください) 

[1802.04852] Persistence Codebooks for Topological Data Analysis

introまで。

/What? - 現存の機械学習手法とつなぎ合わせられる構造がより簡素でサイズ固定のpersistent diagramのベクトル表現。

/Superior? - この表現が最新のtopological data analysisであり、より効率的な計算を実現。

 

/Next? - Edelsbrunner et al., 2002; Zomorodian & Carlsson, 2005; Edelsbrunner & Harer, 2010 # PH (persistent homology)に関する論文群

 

 

[1802.05141] Deep Learning and Data Assimilation for Real-Time Production Prediction in Natural Gas Wells

intro. well trained RNNの一つ。

/What? - Ensemble Kalman Filter(EnKF)を用いた北海ガス田のガス供給量予測の研究。

/Superior? - オンラインパラメータ予測に広く用いられてきたUnscented Kalman Filter(UKF)よりEnKFが良い結果を示した。

 

 

/Next? - NaN

 

 

[1802.04365] Learning a Neural-network-based Representation for Open Set Recognition

あとでちゃんと読みたい!

open set category: 例えば犬猫の識別器を作ってもきつね(などの中間のもの)の画像が来たら悩んじゃうという問題。open set recognitionとかopen world recognitionとかともいう。

ロバスト性の強化に関する研究

/What? - open set recognition問題のmalware識別技術への応用。malware datasetsとかあるのか...

/Superior? - より良いopen set recognitionの実現。具体的にはopen set自体の表現の仕方、outlier scoreを計算する(なんで?と思ったけどロバストかな)ときもトレーニング中も同じ損失関数を使うなどの変更。

 

/Next? -  Ortiz and Beckerのface recognitionにおけるopen set recognition問題に関するpaperかな。

 

 

[1802.04412] Efficient Exploration through Bayesian Deep Q-Networks

強化学習に関する研究。

/What? - Bayesian Deep Q-Network(BDQN)の開発。last layerでbayesian linear regressionを使う。

/Superior? - last layerでε-greedyを用いるdouble deep Q-Network(DDQN)に比べより良いゲームスコア(Atariのゲーム)を記録した。

 

/Next? - Van Hasselt et al. (2016), Thompson. (1933) # DQN~DDQNの流れの論文群を読まないと話が分からなそう、あとThompson Samplingとかも。強化学習まわりはよくわからないのでまた勉強したら戻ってきたい。

 

 

[1802.04431] Detecting Spacecraft Anomalies Using LSTMs and Nonparametric Dynamic Thresholding

NASAの論文だ!

/What? - 宇宙における各異常探知においてLSTMを用いて高い予測能力を持たせようという研究。応用の紹介に近い。

/Verification? - 「火星探査車CuriosityとSoil Moisture Active Passive(SMAP)(!?) satelliteを使ってLSTM実装を使ってみた」の結果が書いてある。

/Next? - NaN