Lisbon Machine Learning Summer School (LxMLS)に参加してきました
半分自分用の備忘録として残しておきます。好き勝手書いていますので一個人の感想として受け取ってください。
Lisbon Machine Learning Summer School (LxMLS)に参加してきました。参加した動機としては：
１．国際会議を聴講しても自分の少し専門外になると基礎的な部分や背景がわからないため、「この研究が面白いのか」というのがよくわからない（今も微妙ですが）
２．国際会議にあまり出ていないので、海外の生の研究情報が入ってこない。ヨーロッパの現状を知りたい
というのがありました。
Machine Learning Summer School(MLSS)は有名ですが、そことは別の系統です。MLSS系とは別にポルトガル人の有志が立ち上げたらしいです。主催者の内、一人がNoah Smith研の院生であるのと、もう一人がAmazonの研究者なのでその人達のコネで各分野の第一人者を呼んできたのかな、と想像しました。主催者曰く、MLSS系とは別にNLPに特化しているため、機械翻訳や構文解析のレクチャーも多くありました。(余談ですが日本人で論文が引用されていたのは構文解析の論文二枚だけでした。遠い異国の地でMさんとSさんの論文が紹介されていて、ようやくかの方々の凄さを実感しました。)また、参加人数が年々増えているらしく、今年はacceptance rateが60％前後だったらしいです。ただし、修士や博士課程の一年の学生を受け入れることに対してpriorityを置いたらしいので運良く潜り込めました。
基本的に朝の3時間の講義は基礎と応用、午後の3時間は演習、夕方の1.5時間は発展的な内容を紹介する構成になっていました。ただ夕方の講義は頭が少し疲れている上、何の説明もなしに新しい概念がポンと出てきたりするので、ここらへんは少し改善の余地があるかと思いました。（例：Semantic Role labelingにおいてChinese Restaurant Processが現れた）まあ、そもそも基礎から発展的な内容まで7日間に一気にカバーするのでどこかしかに無理は生じてくると思いますが。
また、朝と夕方の講義ですがGoogleがスポンサーについている理由からか、Googleの研究者の講演が半分以上でした。個人的な感想ですが基礎的な講義、という観点からはGoogleの研究者の方よりは大学の助教であるNoah SmithとChris Dyerのレクチャーが一番わかりやすく、面白かったです。あとの方々の発表はどちらかというと国際会議の発表に近い感じでした（もちろん、論文の発表を聞く、という観点からは面白くはあります）。このあたりはやはり大学の講義等での経験の違いなのかな、と思います。（Smithさんは少し喋るのが早かったですが、、、）。
参考リンク：Noah Smithのsequence modelに関する資料
−教師なしHMMの話を初めて詳しく聞きました
演習で用いた資料も枝葉を落として最低限必要な部分のみわかりやすく書かれていてとても読みやすく感じました（例: LBFGSが誕生した背景は勾配法の更新式の収束が遅いのでそれを早くするため）。あそこまで体系立てているのはかなりの時間を使って資料を作成したことが容易に想像できます。また、演習では大学や院生、企業の人などがTAをやっていまして、わからないと聞く感じです。ただ、どんな内容を聞いても必ず答えが帰ってくるのは主催者の4人だけでした。そうでなくても僕にとっては十分でしたが。
レクチャーのビデオとスライド*1や演習のコード*2は公開されているので行く意味はあるのか？と思われるかもしれませんが、特定の方々には行く意味はあると思います。僕の場合は：
１．基礎的なことは大勢でやる方がはかどりやすい。一人でビデオを観ているとついついサボりがちになる。
２．日常の雑務やルーティン等から強制的に開放される。そのため、集中して基礎を固める環境ができる。
３．何よりもレクチャー以外の情報交換や新しい人の出会いが貴重な財産になる。
というメリットがありました。あと、ワインがreceptionとbanquetで大量に出てきて美味しかったです。
（とはいいましても、博士進学した人にとっては物足りないかもしれません。）
トップカンファレンスに通している人達が数人いましたがやはり彼らとの差があるなー、と感じました。講師の方のお一人と話している際に「10日ぐらいでプロトタイプ作って、State of the artと比較して、かなり悪かったら別のことをやる」「2013年になってFailed projectの数よりもSucceeded projectの数が上回った」と言われましたことが一般的に良く言われていることですが、印象深かったです。良い成果や結果があまり出ないのはやはり、着眼点や研究の回し方にまだ改善の余地があるのだと思います。ただし、彼はテーマが大当たりして運が良いうえに頭も良いのであまり参考にしない方が良いかもしれませんが。
