【備忘】Wav-KAN: Wavelet Kolmogorov-Arnold Networks

論文の概要、手法の利点

 先行研究のKolmogorov-Arnold Networksは(従来法:Spl-KAN)、スプライン曲線を用いて関数近似を行った。本研究は近似する関数としてwavelet関数を採用したもので(提案手法:Wav-KAN)、従来と違い区間をデータに応じて動的に決定でき、またパラメータ数が少ないため学習の時間も短くできることが特徴である。  それぞれの手法の利点・欠点は用いる関数の特性に由来する。Spl-KANの利点は、スプライン関数が区間ごとに滑らかに関数を近似していくため、データに局所的な変化が起きたとしても関数全体が変わることはない。応用先として、CADやコンピューターグラフィックなど滑らかな表現が必要な分野が挙げられる。欠点は滑らかに近似することから学習の計算量の大きさと、データのノイズまでとらえてしまうことである。
 一方Wav-KANは、Wavlet解析のように関数の高周波と低周波の両方を疎な表現で捉えることができ、無関係なノイズの影響を受けにくい。また非定常で局所的に特徴のある関数にも適用でき、関数の特徴抽出も可能である。Spl-KANと違って区間に関するパラメータが不要となるため、学習のための計算量は少ない。性能評価としてMNISTのクラス分類問題にWaV-KANを適用した結果、Spl-KANと同等以上の正答率が得られた。mother waveletにより性能が異なるため、適切な選定が必要となる。

(参考:Spl-KAN、Wav-KANともに学習の際にバッチ正則化を行うと、学習の計算時間が短くなり、精度が向上するという実験結果が得られた。)

参考文献

Bozorgasl, Zavareh, and Hao Chen. "Wav-kan: Wavelet kolmogorov-arnold networks." arXiv preprint arXiv:2405.12832 (2024).

以上。