LiquidのニューラルネットワークからLiquidの基盤モデルへ

私たちはリキッド・ニューラル・ネットワークを発明しました。リキッド・ニューラル・ネットワークは、トレーニング後も変化に適応し頑健であり続けることができる、脳に触発されたシステムの一種です。[R・ハサニ、博士論文] [レヒナー他ミシガン州ネイチャー、2020年] [pdf] (2016-2020)。次に、それらがユニバーサル近似器であることを分析的および実験的に示しました。[ハサニ他ああい、2021年]、シーケンシャルデータ用の表現力豊かな連続時間機械学習システム [ハサニ他ああい、2021年] [ハサニ他ミシガン州ネイチャー、2022年]、新しいスキルの学習に効率的なパラメーター [レヒナー他ミシガン州ネイチャー、2020年] [pdf]、因果的で解釈可能 [ヴォルバッハ他ニューリップス、2021年] [チャヒネ他サイエンス・ロボティクス 2023] [pdf]、線形化すると、逐次データにおける非常に長期的な依存関係を効率的にモデル化できます [ハサニ他アイクラー 2023]。

さらに、非線形神経微分方程式シーケンスモデルのクラスを開発しました。[マサロリ他ニューリップス 2021] そしてそれらをグラフに一般化しました [ポリらドグマ 2020]。ハイブリッド数値法を用いて連続時間モデルのスケーリングと最適化を行いました。[ポリら。ニューリップス 2020]、パラレルインタイムスキーム [マサロリ他ニューリップス 2020]、そして最先端の制御および予測タスクを実現しました [マサロリ他サイアム・ジャーナル] [ポリら。ニューリップス 2021] [マサロリ他IEEE コントロールシステムレター]。チームは、神経微分方程式に関する最も包括的なオープンソースライブラリの1つをリリースしました。[ポリら 2021 トーチダイン]、現在、拡散による生成モデリングや予測のさまざまなアプリケーションで使用されています。

最初の効率的な並列スキャンベースの線形状態空間アーキテクチャを提案しました。[スミス他アイクラー 2023]、および有理関数に基づく最先端の時系列状態空間モデル [パルニククン他2024年まで]。また、時系列を対象とした初めての生成的状態空間アーキテクチャも紹介しました [周他アイコム [2023]、およびビデオ用のステートスペースアーキテクチャ [スミス他ニューリップス 2024]

ニューラルオペレーターのための新しいフレームワークを提案しました [ポリらニューリップス-2022]、微分方程式や予測タスクの解法において、フーリエニューラル演算子などのアプローチよりも優れています。

私たちのチームは、Hyenaなどのディープシグナル処理アーキテクチャを共同で発明しました。[ポリらICML 2023] [マサロリ他ニューリップス 2023]、ハイエナドナ [グエン他ニューリップス 2023]、そして長いコンテキストに効率的にスケーリングできるストライプハイエナ。Evo [グエンら2024年] は、StripedHyenaをベースにしており、DNA、RNA、タンパク質を汎用化するDNA基盤モデルであり、新しいCRISPRシステムのジェネレーティブデザインが可能です。

深層信号処理層と状態空間層の両方に基づいて言語モデルをスケーリングしたのは私たちが初めてです。[リンク]、そしてこれまでで最も広範なトランスフォーマーアーキテクチャのスケーリング法則分析を行ってきました [ポリら。ICML 2024]、既存のオープンソースの代替モデルよりも優れた新しいモデルバリアントを備えています。

このチームは、最高のオープンソースLLMファインチューンや合併を数多く手がけています。[マキシム・ルボンヌ、リンク]。

最後になりましたが、私たちのチームの研究は、グラフニューラルネットワークと幾何学的ディープラーニングベースのモデルにおける先駆的な研究に貢献してきました。[リム他アイクラー 2024]、ニューラルネットワークにおける解釈可能性の新しい尺度の定義 [ワン他コーラル2023]、および最先端のデータセット蒸留アルゴリズム [ルー他2023年まで]。