櫻井研究室D1の朴 希昊（Xihao Piao）さんの研究成果がACM SIGKDD2024に採択されました。
Xihao Piao, Zheng Chen, Taichi Murayama, Yasuko Matsubara, Yasushi Sakurai, Fredformer: Frequency Debiased Transformer for Time Series Forecasting, ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD2024), pp. 2400-2410, Barcelona, Spain, August 25-29, 2024. Acceptance Rate: 411/2046, 20.1%
ACM SIGKDDは、データマイニング分野における最難関のトップ国際会議で、極めて競争的な会議です。今年は、2000件以上の投稿論文の中から、採択されました。
Q. 今回採択された論文の概要について教えてください
本論文は、Transformerを用いた時系列予測において、低周波成分が優勢になり中高周波成分が十分に捉えられないという周波数偏向問題に着目しています。従来のモデルは、低周波のエネルギーが大きいために、短期的な変動を示す中高周波の情報が軽視される傾向にありました。そこで本研究では、フーリエ変換などの周波数解析手法を用いて、各周波数成分の学習誤差を定量化し、偏向の原因が各成分の振幅の不均衡に起因することを明らかにしました。また、入力時系列を複数の局所周波数帯に分割し、各帯内で正規化を行うことで、Transformerが各周波数成分に均等に注目できるように工夫しました。さらに、チャネル毎にAttention機構を採用することで、各局所帯の特徴を個別に学習させるとともに、Nyström近似を導入して計算負荷を低減しました。これにより、Transformerの周波数学習に内在する偏向機構を体系的に定式化するとともに、高精度な予測と効率的な計算を両立させる新たな手法を開発しました。
Q. 研究の楽しさと難しさはなんですか？
私にとって、研究で最も楽しいと感じることは、新しい知識を発見することです。また、モデルの動作原理や、データに潜む新たな問題を見つけることが楽しいです。一方で、最も難しいと感じることは、それらの課題をどのように見つけ出すかという点です。全く新しい課題をみつけることは、既存の研究を単に模倣して得ることはできず、自ら何度も試行錯誤する必要があるからです。
Q. 実際に、国際会議で研究発表をしてみて、どのようにお感じになりましたか？
会議での口頭発表は、予想以上に難しいと感じました。英語でのコミュニケーションに加えて、予期しない質問に直面することもあります。人それぞれが物事を異なる角度から見ているため、どのような質問を受けるかを事前に全て考えておくことは不可能です。このような状況では、話す速度を落とし、落ち着いて質問に答えることが非常に効果的だと感じました。相手に落ち着いた印象を与えると同時に、自分自身にも考える時間を取ることができます。
Q. 研究以外の趣味はありますか？
研究以外での趣味は、音楽を聴くこととペットカフェに行くことです。
お忙しいところ、お答えいただきありがとうございました！！ますますのご活躍に期待したいと思います^^
