長文能力:大モデルの新しい"標準装備"

4000から40万token、大規模モデルは長文の処理能力を著しい速度で向上させています。

長文処理能力は、大規模モデルのベンダーにとって新たな"標準装備"となっているようです。

国際的に、OpenAIは何度もアップグレードを重ね、GPT-3.5のコンテキスト入力長を4000から16000トークンに、GPT-4を8000から32000トークンに増加させました。競合他社のAnthropicは、一度にコンテキスト長を100000トークンに拡張しました。LongLLaMAは、コンテキスト長を256000トークン以上に拡張しました。

国内では、一部の大規模モデルのスタートアップ企業がこの分野でブレイクスルーを達成しています。例えば、ある会社が発表したスマートアシスタント製品は、20万の漢字の入力をサポートし、約40万トークンに相当します。さらに、研究チームが開発した新技術LongLoRAは、7Bモデルのテキスト長を10万トークンに拡張し、70Bモデルを3.2万トークンに拡張することができます。

現在、国内外の多くのトップ大モデル技術会社や研究機関が、コンテキストの長さの拡張を更新の重点としている。

これらの企業や機関はほとんど資本市場からの支持を受けています。たとえば、OpenAIは近120億ドルの投資を受けました。Anthropicの最新の評価額は300億ドルに達する可能性があります。設立からわずか半年の国内企業も迅速に複数回の資金調達を完了し、市場評価額はすでに3億ドルを超えています。

大規模モデル企業はなぜ長文技術をこれほど重視しているのか? コンテキストの長さが100倍に拡大することは何を意味するのか?

表面上は、これが入力できるテキストの長さがますます長くなり、モデルの読解能力がますます強くなっていることを意味します。最初は短い文章を読むことしかできなかったのが、今では長編小説を処理できるようになりました。

より深い視点から見ると、長文技術は金融、司法、研究などの専門分野における大規模モデルの適用を推進しています。これらの分野では、長文書の要約、理解、質問応答能力が基本的な要求であり、また、知能のアップグレードが急務の方向性でもあります。

しかし、テキストの長さは長ければ良いというわけではありません。研究によれば、モデルがより長いコンテキスト入力をサポートすることと、モデルの性能が向上することは直接的な関係があるわけではありません。本当に重要なのは、モデルがコンテキストの内容をどのように効果的に活用するかです。

現在、国内外でのテキストの長さに関する探求はまだ限界に達していません。40万tokenはおそらく始まりに過ぎず、各大手企業はこの技術的障壁を突破し続けています。

なぜ長文処理能力を向上させる必要があるのか?

ある大規模モデル会社の創業者は、入力長の制限が多くの大規模モデルアプリケーションの実現を困難にしていると述べました。これが多くの企業が現在、長文技術に焦点を当てている理由でもあります。

例えば、バーチャルキャラクターのシーンでは、長文能力が不足しているため、バーチャルキャラクターは重要な情報を忘れてしまいます。脚本型ゲームを開発する際、入力の長さが不足していると、ルールや設定を削減するしかなく、ゲームの効果に影響を与えます。法律、金融などの専門分野では、深い内容の分析や生成がしばしば制限されます。

未来のAIアプリケーションへの道のりでは、長文は依然として重要な役割を果たします。AIエージェントは意思決定のために過去の情報に依存する必要があり、ネイティブAIアプリケーションは一貫性と個別化されたユーザー体験を維持するためにコンテキストを必要とします。

その創業者は、文字、音声、または動画に関して、大量データの非損失圧縮が高い程度の知能を実現できると考えています。大規模モデルの限界は、単一ステップ能力と実行ステップ数の両方によって決定され、その中で単一ステップ能力はパラメータ量に関連し、実行ステップ数はコンテキストの長さです。

同時に、パラメータ量が膨大なモデルであっても、幻覚問題を完全に回避するのは難しいです。短いテキストと比較して、長いテキストはより多くのコンテキストと詳細情報を提供し、モデルが意味をより正確に判断し、曖昧さを減らし、推論の正確性を向上させるのに役立ちます。

見えるように、長文技術は大規模モデルの初期のいくつかの問題を解決できるだけでなく、産業応用を推進する重要な技術の一つです。これは、汎用大規模モデルが新しい段階に入っていることを示しており、LLMからLong LLM時代へと移行しています。

いくつかの新しくリリースされた製品を通じて、Long LLMフェーズの大規模モデルのアップグレード機能を垣間見ることができます:

まず、超長文からの重要情報の抽出、要約、分析を行います。例えば、記事の概要を迅速に分析したり、財務報告の重要情報を抽出したり、書籍全体について質問応答を行ったりできます。

コードの面では、テキストから直接コードを生成したり、論文に基づいてコードの再現プロセスを行ったりすることが可能です。これは、初期のスケッチ生成ウェブサイトのコードよりも大きな進歩です。

長い対話シーンでは、より生き生きとしたキャラクターのロールプレイが実現できます。特定のキャラクターのコーパスを入力し、口調や性格を設定することで、バーチャルキャラクターとの1対1の対話が可能になります。

これらの例は、対話型ロボットが専門化、個性化、深度化の方向に進んでいることを示しており、これは産業応用を引き出す新たな手段かもしれません。

ある企業が目指しているのは、次の消費者向けスーパープラットフォームです: 長文技術を突破口として、基盤モデルから複数のアプリケーションを派生させることです。この企業の創設者は、国内の大規模モデル市場が企業と消費者の二つの陣営に分かれると予測しており、消費者市場には自社開発モデルに基づくスーパープラットフォームが登場するでしょう。

しかし、現在市場に出ている長文対話シーンにはまだ大きな最適化の余地があります。例えば、最新情報を取得するためにインターネットに接続できない、生成プロセス中に一時停止して修正できない、背景資料があっても誤った情報が表示される可能性があるなどの問題があります。

長いテキストの技術的な問題

長文技術において、テキストの長さ、注意力、計算力の間に「不可能な三角形」のジレンマが存在します。

これは次のように表現されます: テキストが長くなるほど、十分な注意を集めることが難しくなる; 注意が限られている場合、短いテキストは複雑な情報を完全に解読することが難しい; 長いテキストを処理するには膨大な計算能力が必要で、コストが増加します。

このジレンマの根源は、ほとんどのモデルがTransformer構造に基づいていることです。この構造の最も重要な自己注意メカニズムは、モデルが情報間の関係を柔軟に分析できるようにしますが、その計算量は文脈の長さが増加するにつれて二次的に増加します。

いくつかの研究によると、長すぎる文脈は関連情報の割合を著しく低下させ、注意が散漫になることが避けられないようです。これは、テキストの長さと注意力の間の矛盾を構成し、大規模モデルが長文技術で突破できない根本的な理由でもあります。

同時に、計算力は常に希少な資源です。実際の展開では、企業側が大きな計算力を提供するのが難しいため、メーカーはモデルパラメータやテキストの長さを拡張する際に計算力の消費を厳格に制御する必要があります。しかし、現在はより長いテキスト技術を突破するためには、しばしばより多くの計算力が必要であり、テキストの長さと計算力の間には新たな矛盾が生じています。

これについて業界の専門家は、大規模モデルの長文モデリングには現在まだ統一された解決策がなく、その根本的な原因はTransformer自身の構造にあると述べており、新しいアーキテクチャが開発中である。

現在、主に3つの異なる解決策があります:

1. モデルの外部ツールを利用して長文を処理する。主な方法は長文を複数の短いテキストに分割し、必要な短いテキストの断片のみを読み込むことで、一度に全長文を読み込むことができないモデルの問題を回避することです。

2. 自己注意計算の方法を再構築します。長いテキストを異なるグループに分け、それぞれのグループ内で計算を行い、単語間の関係を計算するのではなく、計算量を削減し、速度を向上させます。

3. モデル自体を最適化します。既存のモデルを基に微調整を行い、より長いシーケンスに外挿できるようにするか、パラメータ数を減らすことでコンテキストの長さを向上させます。

長文の「不可能三角」問題は現在のところ解決策がないかもしれませんが、これは大規模モデルのメーカーの探索方向を明確に示しています：テキストの長さ、注意力、計算能力の三者の間で最適なバランスを見つけることです。十分な情報を処理できるだけでなく、注意力計算と計算コストの制限も考慮する必要があります。