生成AIなんでも展示会vol6　LT登壇資料　NexteraBERT

Transcript

1. わたしのこだわりは、知の架橋と知の転換です

2. NexteraBERT: Input-Dependent Gating Liquid Mixer and Length-Adaptive Attention for Fast,

   Long-Context Bidirectional Encoders 入力依存型Liquid Mixerと長さ適応型Attentionによる 高速な長文対応双方向エンコーダ

3. Vol.6 生成AIなんでも展示会

4. 自己紹介 / About us り っ か 六花 ぼ た

   ん 牡丹 Rikka Botan 独立研究者（機械学習 / 代数学 / 数理論理学） Independent researcher (machine learning / algebra / mathematical logic) ◆趣味 お菓子作り・紅茶・クラシック鑑賞・お洋服 ◆最近の活動 Silver Award: Liquid AI Hackathon Series | Tokyo 記事執筆（Mamba, LFM2 (LTCs) 関連） SSE Modelシリーズの公開 X(Twitter) Portfolio

5. 目録 / Contents 1 主な貢献 / Main Contributions 2 知の架橋

   / Bridging Knowledge 3 知の転換 / A Shift in Thinking 4 経験のユニーク性 / The Uniqueness of Experience

6. 主な貢献 / Main Contributions 独自のアーキテクチャ(NexteraBERT) からなるモデルをフルスクラッチで構築 下記の点で世界最高クラスの性能を示しました。 ・65k tokensの推論でModernBERT-baseより5.22倍 高速

   (LFM2.5 Encoder 230Mより2.01倍高速) ・15倍少ないtokensでの学習で、GLUEでは ModernBERT-baseと同等、MTEB v2では凌駕 (OptiBERT比では5.27倍) ・学習長の8倍でもほぼ劣化しない外挿性 (損失 +3.8%のみ増加 (他のモデルは+83%増加)) ・Code & Long Retrieval(CodeSearchNet, MultiLongDocRetrieval)でModernBERT-baseを凌駕

7. 主な貢献 / Main Contributions 技術詳細は発表の大筋からされるため割愛します（詳細は論文参照） 論文

8. 知の架橋 / Bridging Knowledge Self Attentionの非効率性の打開のために、 近年の言語モデルではSelf Attention以外のMixerを 併用するのがデファクトスタンダードになっています。 計算神経科学

   （NexteraBERTでもLiquid Time-Constantsを使用） 制御工学 入力に応じた Mamba, Gated Delta Networks, Kimi Delta Attention, 少ない変数で システムの適応的変化 Liquid Time-Constantsなどは 状態の遷移を表現 言語モデルの文脈から現れたものではなく、 制御工学や計算神経科学（神経生物学） Mamba, GDN LTCs から端を発したものです。 言語モデルという、「枠」に囚われたままでは Transformer 辿り着けない領域であり、 他の学術分野をも活用するという視点が 自然言語処理 新たな効率性への扉を開いています。 言葉の構造と意味を 数値処理で扱う

9. 知の転換 / A Shift in Thinking エンコーダーモデルの学習において、 多くのモデルがマスク率が 一定で行われてきました。 →本当に一定が適切？

   →マスク率を線形に下げていくと 収束性が高まる。 →より少ない学習で高い性能に到達 前提を疑い、模索することが重要

10. 経験のユニーク性 / The Uniqueness of Experience 遠回りだと思っていた経験が、 成果につながりました。 知を架橋するには、二つ以上の分野を知っている必要があります。 前提を疑うには、その前提の外側を知っている必要があります。

    （例えば私は以前、制御工学を学んでいてその視点を少し持っていました。）

11. 経験のユニーク性 / The Uniqueness of Experience あなたの経験の組み合わせは あなたにしかないものです。 あなただけの見方で作った 面白い世界を見せてください。

12. 12