Masked Language Modelingを活用して語彙拡張を行うTerm Set Expansionの手法を解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/409 サポーターの方も募集中です． https://www.patreon.com/jojonki
CMUとGoogle Researchによる40言語9タスクによるベンチマークXTREMEを解説しました．Cross-lingualな評価にとても良さそうです． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/400 サポーターも募集中です． https://www.patreon.com/jojonki
ICLR 2020より，Replaced Token Detectionタスクによる事前学習によってGLUEとSQuADでSOTAを獲得したStanford x Googleのモデルを解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/391 サポーターも募集中です． https://www.patreon.com/jojonki
ICASSP 2020より，ビジュアル情報を利用し，マスクされた音声信号を復元できるマルチモーダルASRを解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/384 サポーターも募集中です． https://www.patreon.com/jojonki
AAAI 2020より，多言語文埋め込みフレームワークEMUを解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/371 サポーターも募集中です． https://www.patreon.com/jojonki
ICLR 2020より，factorized embeddingとパラメタ共有によるパラメタ削減及び文順序予測タスクを採用したALBERTを解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/348 サポーターも募集中です． https://www.patreon.com/jojonki
ICLR 2020より，BERT/RoBERTaの埋め込み空間に，敵対摂動を入れるVirtual Adversarial Trainingによって，モデル性能を改善するFreeLBという手法を解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/347 サポーターも募集中です． https://www.patreon.com/jojonki
NeurIPS 2019よりDeepMindが発表した，様々な異なるタスク（テキスト分類とQA）のデータセットをepisodic memoryを利用して１モデルで学習できる手法を解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/326 サポーターも募集中です． https://www.patreon.com/jojonki
第４４回では，多言語で事前学習されたBERTを用いて，多言語でUniversal Dependenciesのタスクを解くモデルを解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/322 サポーターも募集中です． https://www.patreon.com/jojonki
第４３回では，Byte Pair Encodingを用いたサブワード正則化手法，BPE-dropoutを解説しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/302 サポーターも募集中です． https://www.patreon.com/jojonki
第４２回では，HuggingFace社のBERT, GPT-2, RoBERTaなどが気軽に利用できるTransformersフレームワークを紹介しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/295 サポーターも募集中です． https://www.patreon.com/jojonki
第４１回では，ACL 2019より要約タスクにおける"重要性"をモデル化して，Outstanding Paperを獲得した論文を説明しました． 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/290 サポーターも募集中です． https://www.patreon.com/jojonki
第４０回では，ACL 2019よりFacebookのOpenDialKGという知識グラフを探索できる対話推論モデルを解説しました 今回紹介した記事はこちらのissueで解説しています． https://github.com/jojonki/arXivNotes/issues/287 サポーターも募集中です． https://www.patreon.com/jojonki
第３９回では，ACL 2019 NLP for Conversational AIのBest Paperから，対話応答生成タスクにおいて，対話履歴と応答候補の因果関係に着目したリランキング手法を提案したモデルを紹介しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/283
第３８回では，Amazonの方のACL 2019の参加レポートを解説しました 今回紹介した記事はこちらのissueで解説しています． github.com/jojonki/AI-Post-Notes/issues/2 Podcastのなかで紹介したarxivのメタ情報を簡単にコピペするChrome拡張 https://chrome.google.com/webstore/detail/arxiv-clip/enkadffnndphdjnpjamejdjlcbkkbpmp サポーターも募集中です． https://www.patreon.com/jojonki...
第３７回では，ACL 2019から，ACL2019からDSTC7のマルチモーダル対話でSOTAを獲得したMulti-Modal Transformer Networksを紹介しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/272 サポーターも募集中です． www.patreon.com/jojonki
第３６回では，IJCAI 2019から，自然言語処理を用いた最近のRLに関するサーベイ論文を紹介しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/267
第３５回では，ACL 2019から，階層的にVAEを用いてマルチターン対話における言語生成を行う論文を紹介しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/261
第３４回では，ACL 2019から，ニューラル対話生成モデルが，対話履歴を効果的に活用しているか調査した論文を紹介しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/254 番組への支援は，こちらからお待ちしております．
第３３回では，ACL 2019から，目的のトピックにスムーズに対話遷移できるopen-domainの対話システムに関する論文を紹介しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/242 番組への支援は，こちらからお待ちしております．
github上でご指摘いただきましたが，実験２のReproductionのシステムの優劣を完全に逆にして説明していることが判明しました．issueのコメント欄を御覧ください．他にも怪しくなってきた気がするのでお気付きの方はどんどんコメント頂けると嬉しいです。 第３２回では，ACL 2019から，標準的なデータセットのsplitに起因するシステム比較手法の危険性を示す論文を解説しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/241 番組への支援は，こちらからお待ちしております．
第３０回では，NAACLのBest Short Paperに選ばれた，マルチモーダル機械翻訳におけるビジョンモダリティの貢献具合を調査した論文を紹介しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/229 番組への支援は，こちらからお待ちしております．
第３０回では，NAACLのBest Short Paperに選ばれた，マルチモーダル機械翻訳におけるビジョンモダリティの貢献具合を調査した論文を紹介しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/228 番組への支援は，こちらからお待ちしております．
第２９回では，NAACLのBest Thematic Paperに選ばれた，学習データに含まれるバイアスを軽減させる手法を紹介しました．名前の単語埋め込みと予測確率の相関関係にペナルティを与えるロス関数を提案しています． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/226
第２８回では，NAACLより学習した重みに対する透明性・説明性について一石を投じる論文を解説しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/221
第２７回では，２０１８年度の振り返りの特別回として，アンケート結果の共有，NLPのおすすめ勉強方法と教材，論文の読み方，期末の振り返りと今後について話しました． アンケートの振り返り NLPの勉強の仕方，論文の読み方 今期，来期のはなし 紹介した書籍やサイト 自然言語処理の基本と技術 Graham Neubig先生のNLPプログラミングチュートリアル 言語処理のための機械学習入門 番組への支援は，こちらからお待ちしております．...
第２６回では，NLP2019のニューラルネットワークベースのシンプルな形態素解析器について解説しました． 今回紹介した論文は予稿集が公開され次第，issueを公開にします 現在 視聴者の方へのアンケート を実施しているので，数分で終わりますのでぜひご協力ください． 番組への支援は，こちらからお待ちしております． www.patreon.com/jojonki
第２５回では，NLP2019のサブワードを利用した単語分散表現のモデルについて解説しました． 今回紹介した論文は予稿集が公開され次第，issueを公開にします 現在 視聴者の方へのアンケート を実施しているので，数分で終わりますのでぜひご協力ください． 番組への支援は，こちらからお待ちしております． www.patreon.com/jojonki
第２４回では，BERTを利用してインテント分類とスロット抽出をjoint learningした手法を解説しました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/210 番組への支援は，こちらからお待ちしております． www.patreon.com/jojonki
第２３回では，患者との対話を通して医療診断を行う対話システムKR-DSの解説をしました． 今回紹介した論文はこちらのissueで解説しています． github.com/jojonki/arXivNotes/issues/206 番組への支援は，こちらからお待ちしております． www.patreon.com/jojonki
