【備忘】KAGNNs: Kolmogorov-Arnold Networks meet Graph Learning
論文の概要
本論文は、Graph Neural Network（以下、GNN）で用いられる特徴変換器をMultilayer Perceptron（以下、MLP）を、Kolmogorov-Arnold Networks（以下、KAN）に置き換えて、その有効性を確認した論文である。
GNNにおいてMLPは広く用いられているが、その非凸性により収束性や解釈性に難がある。一方KANは、関数の近似精度や解釈性がMLPよりも優れているため、GNNに組み込むことで、従来のGNNよりも優れた性能を発揮すると考えられる。そこで、GNNの構造であるGCN/GINのMLP部分をKANに置き換えた、KANGCN/KANGINを提案した。これらの有効性の確認にあたり、各種データセットを用いてノード分類、グラフ分類、グラフ回帰を行った。
結果として、ノード分類においては種々のデータセットにおいてKANを用いた方が性能が良い場合が多く、またグラフ回帰においては顕著に性能が良く、その有効性は示唆された。しかし、グラフ分類においては、KANを用いた方が優れた結果が得られることは多いものの、その差はほとんどなかった。また連続値を取り扱うデータセットにおいては、それらの差と比較して大きく性能は劣る結果が得られた。このことから、KAN/MLPを用いたGNNはのグラフ識別能力は同等であると考えられる。またKANは連続値の特徴量を扱うのには適していな可能性があると言える。
提案手法
詳細な記法を割愛して、KANGINおよびKANGCNの構造を示す。
KANGCN
ノード$v$の$l$回目の埋め込み後の特徴量$h_{v}^{l}$は次のように定義される。
ここで、$\phi^{l}$は一層からなるKANである。従来のGNNでは$\phi^{l}$の箇所が活性化関数であった。このモデルはノード分類問題でのみ性能評価を実施している。
KANGIN
KANGCNと同様に、$h_{v}^{l}$は、
と記述できる。MLPを用いたGINでは、$\operatorname{KAN}^{l}$の箇所が$\operatorname{MLP}^{l}$となっている。KANGINは本論文において全てのタスクで性能評価されている。
参考文献
以上。
