エッジデバイス用の畳み込みマルチハイブリッド

本日、Hyena Edgeと呼ばれるLiquidアーキテクチャを紹介します。これは、Samsung S24 Ultraスマートフォンでベンチマークされた、エッジハードウェアの計算効率とモデル品質において、Transformerベースの強力なベースラインに匹敵するだけでなく、それを上回るコンボリューションベースのマルチハイブリッドモデルです。ハイエナエッジの設計には、最近提案したハイエナエッジを使用します。 エンドツーエンドの自動モデル設計フレームワーク。

今後数か月以内に、ハイエナエッジを含む一連のLiquidファンデーションモデルをオープンソース化する予定です。引き続き AI エッジで可能なことの限界に挑戦していきますので、ご期待ください。

STAR によるアーキテクチャ最適化の自動化

アーキテクチャを体系的に調査して最適化するために、ICLR '25で発表された最近導入された自動アーキテクチャ最適化フレームワークであるSTAR（Thomas et al。、2024）を使用しました。STAR は進化的原理と線形システム理論を組み合わせて建築空間を効率的にナビゲートし、効率と品質性能の最適なトレードオフを実現しています。

STARは、16の候補アーキテクチャを集めて初期化し、24世代にわたって進化させてきました。検索空間には、ハイエナにインスパイアされた畳み込み演算子の複数のバリエーションが含まれていました（Poli et al.、2023; Ku et al.、2025）。ハイエナ（完全）：ハイエナの内部畳み込みの隣にあるゲーティングメカニズムの畳み込みを含みます。ハイエナX (チャンドラセガラン他、2025): 内部畳み込みを除外します。Hyena-Y (チャンドラセガランら、2025 年): 特徴グループ (ゲート) に含まれるコンボリューションを除外します。これら3つのハイエナタイプにまたがることに加えて、学習した短く明示的な (SE) 畳み込みフィルター (3-128) の長さも変え (3-128)、合計18個の畳み込み演算子のセットが得られました。検索スペースにはさらに、GQA（KVヘッドの数が異なる、Shazeer、2019年）とSwiGlu（内側の幅が異なる、Shazeer、2020年）のバリエーションも含まれていました。

STARは、S24 Ultraでの個々のオペレーターのレイテンシーとメモリ使用量の初期プロファイリングと、トレーニング中の複雑さを考慮して、レイテンシー、メモリ使用量、モデル品質の効率性品質のフロンティアに向けてアーキテクチャの数を繰り返し進化させています。¹。‍

ザ・ライズ・オブ・ハイエナ-Y

興味深いことに、アーキテクチャが効率と品質の最前線に近づくにつれて、STARは次第にHyena-Y畳み込みを優先するようになり、レイテンシー、メモリ、品質の指標全体で優れたバランスが取れていることが実証されました。この洞察を活用して、最終的なハイエナエッジアーキテクチャは、最先端のGQA-Transformer++ベースラインのGQA演算子の3分の2を、Hyena-Yファミリーの最適化されたゲート畳み込みに戦略的に置き換えます。

ハイエナエッジのベンチマーキング

Hyena Edgeのパフォーマンスを、パラメーターが一致したGQA-Transformer++ベースラインと照らし合わせて評価し、レイテンシー、メモリ使用量、言語モデリングのベンチマークに注目して、同じ1,000億トークンのセットで両方のモデルをトレーニングしました。

ハイエナエッジは、全体を通してトランスフォーマーベースのベースラインを上回っています。

効率: Hyena Edgeは、Samsung S24 Ultraで一貫してプリフィルとデコードのレイテンシが速いことを示しました。プレフィルレイテンシーは一般的なシーケンス長で著しく低く、デコードレイテンシーは 256 トークンを超えるシーケンスの方が速かった。重要なのは、Hyena Edgeでは、シーケンス長に応じてレイテンシーのスケーリングが改善され、長いシーケンスではデコードとプリフィルのレイテンシーが最大 30% 速くなり、シーケンス長が最短の場合はプレフィルのレイテンシーがさらに速くなることです。これは代替アーキテクチャにとっては画期的な出来事です。代替アーキテクチャの多くは、シーケンスが大幅に長い場合のみレイテンシーが改善されます。さらに、Hyena Edge は、に比べて、デプロイ時に使用するメモリが少なくて済みます。 ガストランスフォーマー+ すべてのシーケンス長にわたるベースライン。

モデル品質: ウィキテキスト、Lambada、Hellaswag、Winogrande、Piqa、Arc-Easy、Arc-Challengeなど、小言語モデルのさまざまな共通言語モデリングベンチマークで、ハイエナエッジは一貫して以下を上回りました ガストランスフォーマー+ ベースライン。‍

妥協のない効率性

ハイエナエッジは、AI エッジの導入において一歩前進を遂げました。コンボリューションベースのマルチハイブリッドアーキテクチャは、エッジデバイスの主要な効率と品質性能の指標において従来のトランスフォーマーモデルよりも優れていることを示すことで、実用的なエッジアプリケーション向けに最適化された代替計算プリミティブの幅広い採用への扉を開きます。

参考文献:

• アラル、L.B.、ロシュコフ、A.、バクーチ、E.、ブラスケス、G.M.、ペネド、G.、タンストール、L.、... & ウルフ、T.（2025）。SMOLLM2: スモールが大規模になるとき—データ中心の小さな言語モデルのトレーニング。arXiv プレプリント arXiv: 2502.02737。
• アブディン、M.、アネハ、J.、ベール、H.、ブベック、S.、エルダン、R.、グナセカー、S.、... & チャン、Y.（2024）。Phi-4 テクニカルレポート. arXiv プレプリントアーカイブ:2412.08905
• Grattafiori、A.、Dubey、A.、Jauhri、A.、Pandey、A.、Pandey、A.、Kadian、A.、Al-Dahle、A.、... & Vasic、P.（2024）。ラマ 3: モデルの群れ。arXiv プレプリントアーカイブ:2407.21783.
• Vaswani、A.、Shazeer、N.、Parmar、N.、Uzkoreit、J.、Jones、L.、Gomez、A. N.、... & Polosukhin、I.（2017）。必要なのは注意だけです。神経情報処理システムの進歩、30.
• カタロプロス、A.、ビアス、A.、パパス、N.、フルーレット、F.（2020年11月）。変圧器はRNNです。線形アテンションを備えた高速自己回帰変圧器です。機械学習に関する国際会議（5156-5165ページ）で。PMLR。
• グー、A.、ダオ、T.（2023）。マンバ:選択的状態空間を用いた線形時系列モデリング。arXiv プレプリント arXiv: 2312.00752
• ポリ、M.、マッサロリ、S.、グエン、E.、フー、D.Y.、ダオ、T.、バッカス、S.、... & レ、C.（2023年7月）。ハイエナ階層:より大規模な畳み込み言語モデルへ。機械学習に関する国際会議（28043-28078ページ）で。PMLR。
• ハサニ、R.、レヒナー、M.、ワン、T.H.、チャヒネ、M.、アミニ、A.、ラス、D.（2022）。液体構造状態空間モデル。arXiv プレプリント arXiv: 2209.12951
• トーマス、A・W.、パーニククン、R.、アミニ、A.、マサロリ、S.、ポリ、M.（2024）。スター:テーラードアーキテクチャの合成。arXiv プレプリント arXiv: 2411.17800。
• クー、J.、グエン、E.、ロメロ、D.W.、ブリクシ、G.、ヤン、B.、ボロンツォフ、A.、... & ポリ、M.（2025）。大規模な畳み込みマルチハイブリッド言語モデルのためのシステムとアルゴリズム。arXiv プレプリント arXiv: 2503.01868。
• チャンドラセガラン、K.、ポリ、M.、フー、D.Y.、キム、D.、ハジッチ、L.M.、リー、M.、グプタ、A.、マサロリ、S.、ミルホセイニ、A.、ニーブルズ、J.C.、エルモン、S.、リー、F.-F.（2025）。グラフトによる拡散変圧器設計の探求。arXivプレプリント。登場する。
• シェイザー、N.（2019）。高速トランスフォーマーデコーディング:必要なのは 1 つの書き込みヘッドだけです。arXiv プレプリント arXiv: 1911.02150。
• シェイザー、N.（2020）。Gluのバリアントはトランスフォーマーを改善します。arXivプレプリントarxiv: 2002.05202。