私たちは、第一原理から構築された新世代の生成AIモデル、Liquid Foundation Model（LFM）の最初のシリーズを発表します。
1B、3B、40BのLFMは、メモリフットプリントを小さくし、より効率的な推論を維持しながら、各スケールにおいて品質面で最先端の性能を達成した。
Liquid Playground、Lambda API、Perplexity Labs、そしてまもなくCerebras InferenceでLFMをお試しください。LFMスタックはNVIDIA、AMD、Qualcomm、Cerebras、Appleのハードウェアに最適化されています。
Liquid AIは、あらゆる規模の企業向けに、プライベート・エッジ・オンプレミスの優れたAIソリューションを構築します。
当社はLFMsの種類・規模を拡大しており、金融サービス、バイオテクノロジー、消費者向け電子機器など、今後さまざまな業界に新しく優れた機能を導入していく予定です。
Liquid AIでは、私たちがコントロールでき、かつ高性能なAIシステムを設計するための新しい手法を構築しています。エンジニアがエンジンや自動車、飛行機を作るのと同じように、第一原理から設計します。私たちの使命は、あらゆる規模においてクラス最高のインテリジェントで効率的なシステム、つまり、大量のマルチモーダルデータを逐次処理し、高度な推論を可能にし、信頼性の高い意思決定を実現するように設計されたシステムをゼロから創造することです。
本日は、第一世代のLiquid Foundation Model（LFM）を紹介します。LFMは、力学系の理論、信号処理、数値線形代数に深く根ざした計算ユニットで構築された大規模なニューラルネットワークです。このユニークな融合により、あらゆるスケールのインテリジェンスを実現するための探求において、これらの分野における数十年にわたる理論的進歩を活用することができます。LFMは、ビデオ、オーディオ、テキスト、時系列、信号など、あらゆる種類のシーケンシャル・データのモデル化に使用できる汎用AIモデルです。
「Liquid 」という社名は、私たちのルーツであるダイナミックで適応力のある学習システムに敬意を表しています。
Liquidチームは、今回最初のシリーズとしての言語モデル群のリリースを誇りに思っています：
高密度の1.3Bモデル（リソースが非常に限られた環境に最適）
高密度の3.1Bモデル（エッジ展開に最適化）
専門家混合（MoE）の40.3Bモデル（より複雑なタスク向けにデザイン）
私たちのゴールは、クラス最高のLLMと競争でき、かつ社会に価値をもたらすモデルを開発することです。モデルの性能はスケールだけでなく、イノベーションも重要であることを示したいと考えています。
私たちはEleuther AIのlm-evaluation-harness v0.4を使用して、自社でファインチューニングしたLFMを同様のサイズの言語モデルと比較しました。（他のファインチューニングされたモデルとの比較）
LFM-1B は、1Bカテゴリのさまざまなベンチマークで最高得点を達成し、このサイズで新たな最先端モデルとなりました。これは、非GPTアーキテクチャがトランスフォーマーベースのモデルを大幅に上回った初めてのモデルです。
LFM-3B はそのサイズの割に驚くべきパフォーマンスを発揮しています。3Bパラメータサイズにおいて、トランスフォーマー、ハイブリッド、RNNモデルの中でLiquid-3Bが一番良いパフォーマンスを有するだけでなく、前世代の7Bや13Bモデルも凌駕しています！また、複数のベンチマークでLiquid-3BはPhi-3.5-miniと同等でありながら、そのサイズは18.4%小さいです。
LFM-3B はモバイルやその他のエッジでの、テキストベースのアプリケーションに最適です。
LFM-40B は、モデルサイズと出力品質の新しいバランスを提供します。使用時に12Bのアクティブパラメータを活用し、LFM-40Bは他の大きなモデルより良いパフォーマンスを出しております。それに、MoEアーキテクチャにより、より高いスループットと費用対効果の高いハードウェアへの展開も可能になります。
LFMは、トランスフォーマー・アーキテクチャと比べてメモリ・フットプリントが低く抑えられます。これは特に長い入力に当てはまります：トランスフォーマベースのLLMのKVキャッシュはシーケンスの長さに応じて直線的に増大します。一方で、LFMは入力を効率的に圧縮し、同じハードウェアでより長いシーケンスを処理することができます。例えば、他の3Bクラスモデルと比較して、LFMは最小限のメモリ使用量を維持しております。
今回のプレビューリリースでは、クラス最高の32kトークン数を実現するために、モデルの効率性の限界を押し広げました。これはRULERベンチマークによって確認され、対応するスコアが85.6より高い場合、その長さは「効果的」とみなされます[Hsieh et al. 2024 - RULER]。以下の表は、異なるコンテキスト長でいくつかのモデルを比較したものになります。
この非常に効率的なコンテキスト・ウィンドウは、エッジ・デバイス上で初めてロング・コンテキスト・タスクを可能にします。これによって、開発者たちにとってドキュメントの分析や要約、コンテキストを意識したチャットボットとのより有意義な対話、RAG（Retrieval-Augmented Generation）のパフォーマンスの向上など、新しいアプリケーションの可能性が広がります。
私たちのゴールは、モデルのサイズ、訓練/テスト時間の計算、コンテキストの長さにわたってLFMをスケーリングし続けることです。言語LFM以外にも、様々なデータモダリティ、ドメイン、アプリケーションのモデルを設計しており、今後数ヶ月のうちにリリースする予定です。
これらの結果を達成するために、私たちは事前と事後のトレーニングパイプラインとインフラを最適化し、モデルが5つの基準で優れていることを確認しました：
私たちは、表現力豊かで効率的な学習システムの設計に関する長年の研究に基づき、様々なモダリティやハードウェア要件に焦点を当て、基礎モデルの新しい設計空間を開発した。Liquid AIの目標は、Generative Pre-trained Transformers(GPTs)を超える基盤モデルを構築する方法を探求することです。
LFMでは、過去数ヶ月の間に我々のチームが開発した、モデル設計の指針となる新しい原則と手法を実践しています。
Liquidのデザインスペースは、主にアーキテクチャとそのコアオペレータのフィーチャライゼーションとフットプリントによって定義されます。フィーチャライゼーションとは、入力データ（テキスト、オーディオ、イメージ、ビデオなど）を、モデル内部の計算を適応的に調整するために使用される、構造化された特徴やベクトルのセットに変換するプロセスを指します。例えば、音声や時系列データは、言語やマルチモーダルデータと比較して、情報密度が低いため、一般的にオペレータのフィーチャライズは少なくて済めます。もう一つの重要な次元は、演算子の計算複雑性です。構造化された適応オペレータの設計空間を横断し、完成させることができるため、計算量を制御しながらパフォーマンスを最大化することができようになるのです。
.avif)
LFMの中核は、入力によって動作が決定される適応的な線形演算子として表現できる計算ユニットで構築されています。LFMの設計フレームワークは、深層学習における既存の幅広い計算ユニットを統合し、包含することで、アーキテクチャの空間を探索する体系的なアプローチを提供します。具体的には、トークン混合構造（オペレータが入力シーケンスの埋め込みをどのように混合するか）、チャネル混合構造（チャネルの次元をどのように混合するか）、フィーチャライゼーション（入力コンテキストに基づいて計算をどのように変調するか）の3つの重要な側面を改善することで、こういった分析はモデル構築に役立ちました。
Liquid AIはまだこの旅の初期段階にあるので、これらのシステムの長所と短所を一緒に発見しソリューションを探していくパートナー様・お客様との協業を歓迎します。。
今日の言語LFMが得意とすること：
今日の言語LFMが苦手としていること？
Liquid AIでは、オープンサイエンスなアプローチをとっています。これまでも、そしてこれからも、科学的・技術的な報告書を通じて、私たちの知見や手法をオープンに公開することで、AI分野の発展に貢献していきます。このコミットメントの一環として、私たちの研究努力によって生み出された関連データやモデルをより広いAIコミュニティに公開する予定があります。ただし、私たちはこれらのアーキテクチャの開発に多くの時間とリソースを費やしてきたため、現時点ではモデルのオープンソース化は行っていません。これにより、私たちは進歩を継続し、競争の激しいAI業界において優位性を維持することが可能になります。
もし御社が最先端なAIモデルを体験されたい場合は、ぜひ私たちにご連絡ください！
また、もしあなたがLiquidのミッションに共感されるのであれば、私たちのチームメンバーとしてjoinし、共に推進しましょう。
Liquid AIはまだこの旅の初期段階にありますが、基盤モデルの開発と展開の様々な側面で積極的に革新を起こしています。LFMモデルの能力を継続的に向上させるため、ぜひ皆様のご意見・フィードバックを聞かせてください：）
