【備忘】A Robust Learning Approach for Regression Models Based on Distributionally Robust Optimization

Distributionally Robust Optimization Regularization
論文の概要

敵対的サンプルが含まれるデータセットに対してロバストに回帰分析ができるよう、$p$-Wassersteinで不確実集合を定義した、偏差誤差を最小化するDROを提案した。このDROのモデルの緩和問題を解析することで、分布的ロバストな意味を正則化項の観点で説明した。

DROを考える動機

敵対的サンプルが観測データに含まれるとデータ生成の確率分布は歪んで見えてしまうため、確率分布のヘッジを目的としてDROを採用した。DROは確率計画法よりもOODデータに対する性能が高いことが知られている。

提案モデルおよび理論的保証
提案モデル

本研究で対象とするDROのモデルは、$p$-Wasserstein Distanceである$W_p$を用いて不確実集合が定義された、誤差に対する$L1$ノルムの期待値の最小化問題である。

\begin{aligned} \inf _{\beta \in \mathcal{B}} \sup_{\mathbb{Q} \in \left\lbrace \mathbb{Q} \in \mathcal{P}(\mathcal{Z}) \mid W_{p}(\mathbb{Q}, \widehat{\mathbb{P}}_{N}) \leq \epsilon \right\rbrace} \mathbb{E}_{\mathbb{Q}} \lbrack |y - \mathbf{x}' \beta | \rbrack \end{aligned}

この問題を経験近似した緩和問題は以下となり、本論文ではこの問題に対して解析が行われている。

\begin{aligned} \inf_{\beta \in \mathcal{B}} \frac{1}{N} \sum_{i=1}^{N} \left| y_i - \mathbf{x}_i'\beta \right| + \epsilon \|(-\beta, 1)\|_{*} \end{aligned}

分布的ロバスト性が双対ノルムを用いた正則化項として表現されており、また不確実集合の大きさが正則化項の係数となっている。

理論的保証

コスト関数の上界およびパラメータの推定誤差に対する理論的保証が得られている。
　本論文においてコスト関数は誤差に対する$L1$ノルムの期待値である。その上界は、その期待値の経験近似やラデマッハー複雑度の上界、双対ノルムの係数倍で抑えられる。これは次元数には依らず、データ数に依存する。したがってout-of-sampleに対して頑健な推定を得るために必要なデータ数を示している。
　一方パラメータの推定誤差は、その誤差を$L2$ノルムで表現した際、パラメータの真値が定義域に含まれることやランダム行列に対する固有値に仮定を置くことで導出が可能となる。この誤差は、$1$-Wasserstein Distanceを用いる場合は、データ数に明示的に依存しない。$2$-Wasserstein Distanceや$\infty$-Wasserstein Distanceの場合はデータ数$N$や$\sqrt{N}$に比例する。

参考文献

Chen, Ruidi, and Ioannis Ch Paschalidis. "A robust learning approach for regression models based on distributionally robust optimization." Journal of Machine Learning Research 19.13 (2018): 1-48.

以上。