【備忘】Relationships are Complicated! An Analysis of Relationships Between Datasets on the Web

本論文の概要 Web上には大量のデータセットが存在しており、それらの中には包含関係にあるものや複製されたもの、バージョンが違うものなどが含まれている。本研究はこのようなデータセット間の関係性を推定する。この研究により、関係性が及ぼす影響を評価…

【備忘】A new correlation coefficient between categorical, ordinal and interval variables with Pearson characteristics

論文の概要 本論文は確率変数の独立性を評価する、相関係数$\phi_k$を提案したものである。$\phi_k$は分割表に対して行うカイ二乗検定に類似しており、1)間隔変数だけでなく順序変数やカテゴリカル変数に適用可能、2)変数間の非線形性を捉えることが可能…

Corollary 6.4.1(Rockafellar 1970)

定理 $C$ を $\mathbb{R}^{n}$ 内の凸集合とする。このとき、$z \in \operatorname{int}C$ であるための必要十分条件は、任意の $y \in \mathbb{R}^{n}$ に対して、$\epsilon > 0$ が存在して、$z + \epsilon y \in C$ となることである。 証明 ($\Rightarr…

Theorem 6.4(Rockafellar 1970)

定理 $C$ を $R^{n}$ 内の非空の凸集合とする。このとき、$z \in \operatorname{ri} C$ であるための必要十分条件は、任意の $x \in C$ に対して、$(1 - \mu)x + \mu z$ が $C$ に属する、$\mu > 1$ となる $\mu$ が存在することである。 不明点 ($\Leftarr…

【備忘】Survey on Multi-Output Learning

本論文の構成 各章の内容 2. LIFE CYCLE OF OUTPUT LABELS 3. MULTI-OUTPUT LEARNING 4. CHALLENGES OF MULTI-OUTPUT LEARNING 参考文献 本論文の構成 本論文では多クラス分類問題のように、出力が多次元ベクトル(行列含む)の機械学習タスクの特徴や課…

【備忘】Distributionally Robust Classifiers in Sentiment Analysis

本論文の概要 Distributionally Robust Optimization(以下、DRO)は分布シフトが起きている分類問題において頑健な性能を出すことが知られており、これまで合成データや画像分野への応用が見られるが、感情分析のような自然言語処理への応用はほとんど見ら…

【備忘】giotto-tda: A Topological Data Analysis Toolkit for Machine Learning and Data Exploration

本論文の概要 本論文はgiotta-tdaという、Topological Data AnalysisができるPythonライブラリの紹介論文である。このライブラリの特徴として、パラメータ探索や特徴量選択などしやすいようにscikit-learnとAPI連携がなされていることが挙げられる。このライ…

【備忘】Optimization of conditional value-at-risk

論文の概要 定理 Lemma 1 Theorem 1 Theorem2 Proposition 1 参考文献 論文の概要 本論文は、関数$F_{\beta}(x, \alpha)$の$\alpha$について最小値を達成する解がVaRであり、その最適値がCVaRであることを示した論文である。CVaRの定義はVaRに基づいているが…

Proposition 3.3.1(Bertsekas 2009)

定理 関数 $F : \mathbb{R}^{n+m} \to (-\infty, \infty]$ と、次のように定義される関数 $f := \inf_{z \in \mathbb{R}^m} F(x, z) : \mathbb{R}^n \to [-\infty, \infty]$ を考える。このとき、次の2つが成立する。 1. $F$ が凸ならば、$f$ も凸である。…

Proposition 2.1(Shapiro, et al., 1994)

定理 以下の1, 2のいずれかが成立するとする。 1 1.1 $f(x, \omega)$が$K(\omega)$-リプシッツ連続であり、$\mathbb{E}[K(\omega)]$が有界である。 1.2 $f(x)$が確率1で、$x = x_0$の点で方向微分可能である。 2 関数 $f(x)$ が確率 1で凸であるとす…

Corollary 6.3.2(Rockafellar 1970)

定理 もし $C$ が $\mathbb{R}^n$ の凸集合であるならば、$\operatorname{cl}C$ と交わる任意の開集合は、$\operatorname{ri}C$ とも交わる。 証明 任意の開集合を$A$として、$\operatorname{cl} C \cap A \neq \emptyset \Rightarrow \operatorname{ri}C \c…

Corollary 6.3.1(Rockafellar 1970)

定理 $\mathbb{R}^n$ 内の凸集合 $C_1$ と $C_2$ に対して、$\operatorname{cl} C_1 = \operatorname{cl} C_2$ であることは $\operatorname{ri} C_1 = \operatorname{ri} C_2$ であることと同値である。これらの条件は $\operatorname{ri} C_1 \subset C_2 …

【備忘】A Distributional Interpretation of Robust Optimization

論文の概要 本論文は、決定変数と不確実性を表す分布の台が同じ空間に属するとき、ある条件の下Robust Optimization(RO)の最適解がDistributionally Robust Stochastic Programming(DRSP)の最適解と漸近的に一致することを示したものである。 詳細な問題…

Theorem 6.3(Rockafellar 1970)

定理 $\mathbb{R}^n$ 内の任意の凸集合 $C$ に対して、$\text{cl} (\text{ri} C) = \text{cl } C$ かつ $\text{ri} (\text{cl } C) = \text{ri } C$ が成り立つ。 証明 ($\text{cl} (\text{ri } C) = \text{cl} C$ の証明) $\text{ri } C \subset C$より$\te…

Theorem 6.2(Rockafellar 1970)

定理 任意の凸集合 $C \subset \mathbb{R}^n$ に対し、$\operatorname{cl} C$ および $\operatorname{ri} C$ は同じアフィン包を持ち、それぞれ$C$と同じ次元を持つ。(特に、$C \neq \emptyset$ ならば $\operatorname{ri} C \neq \emptyset$ である。) 証…

【備忘】GraphKAN: Enhancing Feature Extraction with Graph Kolmogorov Arnold Networks

論文の概要 本論文は、Graph Neural Network(GNN)の非線形変換器をMultilayer Perceptron(MLP)からKolmogorov-Arnold Networks(KAN)に変更したもので、類似研究(KAGNNs:論文、備忘録)と同じ内容である。本論文で提案しているモデルGraphKANは、類似…

【備忘】KAGNNs: Kolmogorov-Arnold Networks meet Graph Learning

論文の概要 提案手法 KANGCN KANGIN 参考文献 論文の概要 本論文は、Graph Neural Network(以下、GNN)で用いられる特徴変換器をMultilayer Perceptron(以下、MLP)を、Kolmogorov-Arnold Networks(以下、KAN)に置き換えて、その有効性を確認した論文で…

【備忘】Optimization Methods for Large-Scale Machine Learning

論文の概要 本論文は確率的最適化(以下、SG法)をバッチ最適化と比較しつつ、手法のサーベイをしたものである。バッチ最適化を代表する、古典的な非線形計画法は収束性が高い一方、大規模問題においてはSG法が主として用いられている。SG法には大きな研究の…

Proposition 1.3.2(Bertsekas 2009)

定理 非空の凸集合$C$に対して以下が成立する。 (a) $\operatorname{ri}C$ は非空の凸集合であり、$C$と同じアフィン包を持つ。 (b) $m$が $\operatorname{aff}C$ の次元であり、$m > 0$ であれば、ベクトル $x_0, x_1, \dots, x_m \in \operatorname{ri}C$ …

【備忘】KAN 2.0: Kolmogorov-Arnold Networks Meet Science

論文の概要 提案手法MultKANの特徴: KANの改良:乗算表現 科学的な知見を発見するための工夫 重要な特徴量の特定 モジュール構造の抽出 所与の関数からKANを記述、運用 参考文献 論文の概要 本論文は先行研究のKANであるSpl-KANを改良し、KANを用いて科学的…

【備忘】Wav-KAN: Wavelet Kolmogorov-Arnold Networks

論文の概要、手法の利点 参考文献 論文の概要、手法の利点 先行研究のKolmogorov-Arnold Networksは(従来法:Spl-KAN)、スプライン曲線を用いて関数近似を行った。本研究は近似する関数としてwavelet関数を採用したもので(提案手法:Wav-KAN)、従来と違…

Theorem 6.1(Rockafellar 1970)

定理 $C$ を $\mathbb{R}^n$ の凸集合とする。$x \in \text{ri } C$ 及び $y \in \text{cl } C$ とする。このとき、$0 \leq \lambda < 1$ に対して $(1 - \lambda)x + \lambda y$ は $\text{ri } C$(従って特に $C$)に属する。 証明 $B(x, a) = \lbrace x …

Theorem 5.8(Rockafellar 1970)

定理 $f_1, \dots, f_m$ を $\mathbb{R}^n$上の真凸関数とする。以下も凸関数である。 方針 $f,g,h,k$順に、その関数を定義する錐に対して、$x$、$\lambda, \mu$ 、$\lambda$、$\lambda, x$についてpartial addtionをとれば良い。 証明 錐$K \equiv \lbrace …

【備忘】Uniqueness of Solution In Linear Programming

本論文の概要 取り組む問題 線形計画問題 双対問題 記法 内容 定理1 定理 証明(方針) 定理2 証明 解がただ一つであることの確認方法 参考文献 本論文の概要 本論文は与えられた線形計画問題の最適解がただ一つであるかどうかを確認する方法を示したもので…

Motzkin’s Theorem of the Alternative

定理 $A \neq 0$とすると、以下の線形不等式系のいずれか一方のみが解を持つ。 1. $A x > \boldsymbol{0}, \ B x \geq \boldsymbol{0}, \ C x = \boldsymbol{0}, \ x \in \mathbb{R}^{n}$ 2. $A^{T} y_1 + B^{T} y_2 + C^{T} y_3 = \boldsymbol{0}, \ y_1 \g…

Farkas' Lemma

定理 以下の線形不等式系のいずれか一方のみが解を持つ。 1. $A x = b, x \ge \boldsymbol{0}$ 2. $A^{T} y \ge \boldsymbol{0}, b^{T} y < 0$ 証明 (1.が成立するなら、2.が成立しない。) より示される。 (1.が成立しないなら、2.が成立する) $A x = b,…

Theorem 5.7(Rockafellar 1970)

定理 $A$を$\mathbb{R}^{n}$から$\mathbb{R}^{m}$への線形変換とする。このとき、$\mathbb{R}^{m}$上の各凸関数$g$に対して、関数$gA$を次のように定義すると、$\mathbb{R}^{n}$上で凸となる。 また、$\mathbb{R}^{n}$上の各凸関数$h$に対して、関数$Ah$を次…

凸関数より誘導される正の同次凸関数

定理 関数$h$ は凸関数とし、Theorem 5.3(Rockafellar 1970)を用いて以下のように関数$f$を定義すると、以下が成立する。 この関数$f$を positively homogeneous convex function generated by $h$と呼ぶ。 証明 $\operatorname{cone}(\operatorname{epi}h…

凹関数の逆数は凸関数

定理 $g$を凹関数とし、$h(x)=\frac{1}{g(x)}$とする。$h(x)$は$C = \lbrace x \mid g(x) >0 \rbrace$上で凸関数となる。 証明 (解法1) 関数$h$について、$\forall \lambda \in [0.1] \quad x,y \in C$に対して、$z=\lambda x + (1-\lambda)y$とし、 が成…

Key Theorem(Giorgi, G., 2020)

定理 $x \in \mathbb{R}^{n}, y \in \mathbb{R}^{n}, A \in \mathbb{R}^{m \times n}$を用いた不等式系 は、$Ax^{*} + y^{*} > \boldsymbol{0}$を満たす解$(x^{*}, y^{*})$を持つ。 証明 題意の線型不等式系が解を持つための必要十分条件は、Theorem 3(Gior…