【備忘】Distributionally Robust Classifiers in Sentiment Analysis

本論文の概要

 Distributionally Robust Optimization(以下、DRO)は分布シフトが起きている分類問題において頑健な性能を出すことが知られており、これまで合成データや画像分野への応用が見られるが、感情分析のような自然言語処理への応用はほとんど見られない。そこで本論文では、学習データとテストデータは類似しているが重なりがない問題設定において、感情分析でも同様に高い分類性能が得られるかを確認する。
 使用したデータセットは各映画の賛否が記載されたレビューデータとしており、学習データとテストデータで異なるデータセットとしている。本論文で取り扱う問題は、レビューを入力としたときに当該映画の評価が良いか悪いかを判定するものである。また用いたモデルは、学習済みBERT、2層のbi-LSTMと線形分類器を繋げたものである。この線形分類器の学習にあたり、$Lp$ノルム($p=1,2,4$)で不確実性を定義したDROを適用した。

参考文献

Li, Shilun, Renee Li, and Carina Zhang. "Distributionally Robust Classifiers in Sentiment Analysis." arXiv preprint arXiv:2110.10372 (2021).