LFM-7B のご紹介:効率的な言語モデルのための新しい基準を設定

LFM-7Bは、応答品質、精度、および実用性を重視して特に最適化されています。チャット機能を評価する際、LFM-7Bが生成した回答を7B-8Bパラメータカテゴリの他のモデルと比較するために、多様なフロンティアLLM審査員を活用しています。これにより、個々のバイアスを減らし、より信頼性の高い比較を行うことができました。

以下の指示やArena-Hard-Autoからの質問など、厳選されたビジネスユースケースを含む英語のプロンプトへの回答を比較しました（Li et al.)、および現実世界の会話 (Zheng et al.)。Liquidの包括的な選好調整プロセスによって、LFM-7Bは同じサイズカテゴリーのすべてのLLMよりも優れています。

以下の直接評価は、LLM審査員がLFM-7Bによって生成された回答を他のモデルの回答よりも好ましい回数の割合を示しています。このテストにおいては、まったく同じ英語のプロンプトが含まれています。

LFM-7Bは、次のような幅広い知識と推論というコア機能を維持しています その他のモデル。会話スキルの向上に加えて、コーディング能力や指示に従う能力も向上しています。

LFM-7Bは、英語、スペイン語、フランス語、ドイツ語、中国語、アラビア語、日本語、韓国語をサポートしています。モデルを評価したところ、MMMLU のような自動ベンチマークには混乱要因 (世界の知識など) が加わり、ターゲット言語でのライティングスキルは必要ないことがわかりました。一方、アリーナ評価では、特に文法的に正確で関連性の高い回答を出すことに重点が置かれています。そのため、モデルの質を公正かつ適切な方法で評価するために、アラビア語と日本語で言語別のアリーナを構築しました。

アラビア語の場では、現実世界の会話の厳選されたサブセットを使用します（Zheng et al.）アラビア語で。LFM-7Bはアラビア語に堪能で、同じサイズカテゴリの他のモデルよりもかなり好まれています。

日本のアリーナでは、Elyza-Tasks-100（Sasaki et al.) およびパートナーである伊藤忠テクノソリューションズ株式会社によるキュレーションしていただいたプロンプトを組み合わせて使用しました。これにより、ビジネスユースケースを代表する多様なプロンプトが生成され、LFM-7Bは日本語でのチャット機能でも大きな差をつけています。

以前のモデルと同様に、LFM-7Bは他のアーキテクチャと比較してメモリフットプリントが最小限に抑えられています。

LFM-7Bのメモリ効率により、長文コンテキストの理解、エネルギー効率の高い推論、ローカルデバイスでのハイスループットの展開など、いくつかの重要な機能が可能になります。LFM-7B は、オンプレミスの微調整スタックを使用して、あらゆる知識やタスクに合わせて効率的にカスタマイズすることもできます。その結果、LFM-7Bは、プライベートエンタープライズチャット、安全なコード生成、迅速な指示追跡、長時間の文書分析、エネルギー効率の高いオンデバイスAIアシスタント、および多段階のエージェントワークフローなどのアプリケーションにおいて、エンドユーザーにとっての価値を大幅に高めます。

LFM-7Bは、長い入力コンテキストを効率的に処理する機能に加えて、長いコンテキストからの検索と推論を効果的に行うことができます。当社では、Liquid 社内のロングコンテキスト評価に特化して、開発の全段階でこれを検証しました。さらに、公開されているロングコンテキスト評価である RULER （Hsieh et al.) とLongBench v2 (Bai et al.)という２つの公開ロングコンテキスト評価によってLFM-7Bの機能を評価しています。RULER では、対応するスコアが 85.6 を超える長さは「有効」とみなされます。このことから、LFM-7B の実効コンテキスト長は 32k であることがわかります。