AI x Crypto: ゼロからピークまで

AI業界の最近の発展は、第四次産業革命と見なされています。大規模モデルの登場は、各業界の効率を大幅に向上させ、アメリカの作業効率を約20%向上させたと推定されています。大規模モデルがもたらす汎化能力は、新しいソフトウェア設計のパラダイムと見なされ、より広範なモーダル入力と出力をサポートできるとされています。深層学習技術はAI業界に第四の繁栄をもたらし、この波は暗号通貨業界にも広がっています。

本報告はAI産業の発展の歴史、技術の分類、そしてディープラーニング技術が産業に与える影響について探討します。ディープラーニングにおけるGPU、クラウドコンピューティング、データソース、エッジデバイスなどの産業チェーンの上下流の発展の現状とトレンドを深く分析します。本質的に暗号通貨とAI産業の関係を探討し、暗号通貨関連のAI産業チェーンの構図を整理します。

! 新人科学丨AI×暗号:ゼロからピークまで

AI業界の歴史

AI産業は20世紀50年代に始まり、人工知能のビジョンを実現するために、学術界と産業界は異なる時代の異なる学問的背景の下で、人工知能を実現するためのさまざまな流派を発展させてきました。

現代の人工知能技術は主に「機械学習」という用語を使用しています。この技術の理念は、機械がデータに基づいてタスクを繰り返し行い、システムの性能を改善することです。主なステップは、データをアルゴリズムに送信し、このデータを使用してモデルを訓練し、モデルをテストして展開し、モデルを使用して自動化された予測タスクを完了することです。

現在、機械学習には主に3つの流派があり、それぞれ結合主義、記号主義、行動主義であり、人間の神経系、思考、行動を模倣しています。

現在、神経ネットワークを代表とする結合主義が優位に立っており(、深層学習)とも呼ばれています。主な理由は、このアーキテクチャには入力層と出力層があり、複数の隠れ層が存在することです。一度層の数や神経元(のパラメータ)の数が十分に多くなると、複雑な汎用タスクにフィットする十分な機会が得られます。データを入力することで、神経元のパラメータを調整し続けることができ、最終的に多くのデータを経て、その神経元は最適な状態(パラメータ)に到達します。これがその「深層」の二字の由来です——十分な層の数と神経元です。

例えば、X=2のときY=3、X=3のときY=5という関数を構造したと考えることができます。この関数がすべてのXに対応するためには、この関数の次数とそのパラメータを追加し続ける必要があります。例えば、この条件を満たす関数をY = 2X -1と構築することができますが、もしX=2, Y=11というデータがある場合は、これらの3つのデータポイントに適した関数を再構築する必要があります。GPUを使用して暴力的に解決したところ、Y = X2 -3X +5が比較的適していることが分かりましたが、データと完全に一致する必要はなく、バランスを守るだけで十分で、大まかに似た出力で構いません。ここでX2、X、X0は異なるニューロンを表し、1、-3、5はそのパラメータを示しています。

この時、大量のデータをニューラルネットワークに入力すれば、ニューロンを増やしたり、パラメータを繰り返し調整したりして新しいデータに適合させることができます。これにより、すべてのデータに適合させることができます。

神経ネットワークに基づく深層学習技術は、初期の神経ネットワーク、フィードフォワード神経ネットワーク、RNN、CNN、GANから、最終的にGPTなどで使用される現代の大規模モデルに進化してきました。Transformer技術は神経ネットワークの進化の一方向に過ぎず、すべてのモダリティ(である音声、動画、画像などのデータを対応する数値にエンコードするための変換器)を追加しました。それを神経ネットワークに入力することで、神経ネットワークはあらゆるタイプのデータをフィッティングでき、多モダリティを実現します。

AIの発展は3回の技術波を経てきました。最初の波は20世紀60年代で、これはAI技術が提唱されてから10年後のことです。この波は、記号主義技術の発展によって引き起こされ、一般的な自然言語処理や人間とコンピュータの対話の問題を解決しました。同時期に、専門家システムが誕生しました。これは完成された化学専門家システムであり、このシステムは非常に強力な化学知識を持ち、質問を通じて推論を行い、化学専門家と同じような答えを生成します。この化学専門家システムは、化学知識ベースと推論システムの結合として見ることができます。

専門家システムの後、1990年代にジュディア・パール(Judea Pearl)はベイジアンネットワークを提唱しました。このネットワークは信念ネットワークとも呼ばれています。同時期に、ブルックスは行動に基づくロボティクスを提案し、行動主義の誕生を示しました。

1997年、IBMのディープブルー"Blue"が国際チェスチャンピオンのカスパロフを3.5:2.5で破った(Kasparov)。この勝利は人工知能の一つのマイルストーンと見なされ、AI技術は第二次発展の高潮を迎えました。

第3のAI技術の波は2006年に発生しました。深層学習の三大巨頭であるYann LeCun、Geoffrey Hinton、Yoshua Bengioは、人工ニューラルネットワークを構造としたデータ表現学習アルゴリズムである深層学習の概念を提唱しました。その後、深層学習アルゴリズムはRNN、GANからTransformerやStable Diffusionへと徐々に進化し、これら2つのアルゴリズムがこの第3の技術の波を形作り、連結主義の盛り上がりの時期でもありました。

多くの象徴的な出来事は、深層学習技術の探求と進化とともに徐々に現れています。包括:

• 2011年、IBMのワトソン(Watson)が「ジェパディ」(Jeopardy)のクイズ番組で人間を打ち負かし、チャンピオンになりました。

• 2014年にGoodfellowが提案したGAN(生成的対抗ネットワーク、Generative Adversarial Network)は、二つの神経ネットワークが互いに競い合うことで学習を行い、本物のような写真を生成することができる。また、Goodfellowは「Deep Learning」という書籍も執筆しており、これは「花本」と呼ばれ、深層学習分野の重要な入門書の一つである。

• 2015年、ヒントンらは『ネイチャー』誌で深層学習アルゴリズムを提案しました。この深層学習手法の提案は、学術界や産業界で直ちに大きな反響を引き起こしました。

• 2015年、OpenAIが設立され、多くの著名な投資家が共同で10億ドルの資金を注入することを発表しました。

• 2016年、ディープラーニング技術に基づくAlphaGoが囲碁の世界チャンピオン、プロ九段棋士の李世石と囲碁の人間対機械戦を行い、4対1の総合スコアで勝利しました。

• 2017年に、ロボット技術会社が開発したヒューマノイドロボット、ソフィアは、歴史上初めて一等市民の地位を得たロボットとして知られ、豊かな表情と人間の言語理解能力を備えています。

• 2017年、Googleが論文「Attention is all you need」を発表し、Transformerアルゴリズムを提案し、大規模な言語モデルが登場し始めました。

• 2018年、OpenAIはTransformerアルゴリズムに基づいて構築されたGPT(生成的事前学習変換器)を発表しました。これは当時の最大の言語モデルの一つです。

• 2018年、GoogleチームのDeepmindが深層学習に基づくAlphaGoを発表し、タンパク質の構造予測を行うことができ、人工知能分野における大きな進歩の象徴と見なされています。

• 2019年、OpenAIはGPT-2を発表しました。このモデルは15億のパラメータを備えています。

• 2020年、OpenAIが開発したGPT-3は1,750億のパラメータを持ち、以前のバージョンであるGPT-2の100倍の性能を誇ります。このモデルは570GBのテキストを使用して訓練され、複数のNLP(自然言語処理)タスク(において、質問応答、翻訳、記事作成)で最先端の性能を達成することができます。

• 2021年、OpenAIはGPT-4を発表しました。このモデルは1.76兆のパラメータを持ち、GPT-3の10倍です。

• 2023年1月にGPT-4モデルに基づくChatGPTアプリがリリースされ、3月にはChatGPTが1億ユーザーに達し、歴史上最も早く1億ユーザーに達したアプリとなりました。

! 新参者科学人気丨AI×暗号:ゼロからピークまで

ディープラーニング産業チェーン

現在の大規模モデル言語は、すべて神経ネットワークに基づく深層学習方法を使用しています。GPTを先頭に、大規模モデルが人工知能の熱潮を生み出し、多くのプレイヤーがこの分野に参入しています。また、市場におけるデータや計算力の需要が急増していることもわかりました。したがって、このレポートのこの部分では、主に深層学習アルゴリズムの産業チェーンを探求します。深層学習アルゴリズムが主導するAI業界において、その上流と下流はどのように構成されているのか、そして上流と下流の現状と供給・需要の関係、将来の発展はどのようなものかを考察します。

まず明確にする必要があるのは、Transformer技術に基づくGPTを中心としたLLMs(大規模モデル)のトレーニングは、合計で3つのステップに分かれているということです。

トレーニングの前に、Transformerに基づいているため、コンバーターはテキスト入力を数値に変換する必要があります。このプロセスは「トークナイゼーション」と呼ばれ、その後これらの数値はトークンと呼ばれます。一般的な経験則として、英単語や文字はおおよそ1つのトークンとして扱うことができ、各漢字はおおよそ2つのトークンとして扱うことができます。これがGPTの料金計算に使用される基本単位でもあります。

第一ステップ、事前トレーニング。入力層に十分なデータ対を与えることで、報告の第一部で示された(X,Y)のように、モデル下の各ニューロンの最適なパラメータを見つけます。この時、大量のデータが必要であり、このプロセスは計算能力を最も消費するプロセスでもあります。なぜなら、ニューロンがさまざまなパラメータを試すために反復的にイテレーションを行うからです。一つのデータ対のトレーニングが完了した後、一般的には同じデータセットを使用して二次トレーニングを行い、パラメータをイテレートします。

第二ステップ、ファインチューニング。ファインチューニングは、少量だが非常に質の高いデータを与えてモデルをトレーニングすることです。このような変更により、モデルの出力の質が向上します。事前トレーニングには大量のデータが必要ですが、多くのデータには誤りや低品質なものが含まれている可能性があります。ファインチューニングのステップは、質の高いデータを使用してモデルの品質を向上させることができます。

第三のステップ、強化学習。最初に新しいモデルを構築します。これを「報酬モデル」と呼び、その目的は非常にシンプルで、出力結果のランキングを行うことです。したがって、このモデルを実現するのは比較的簡単です。なぜなら、ビジネスシーンが比較的垂直だからです。その後、このモデルを使用して、私たちの大モデルの出力が高品質であるかどうかを判断します。こうすることで、報酬モデルを用いて大モデルのパラメータを自動的に反復更新することができます。(しかし、時には人間の介入が必要で、モデルの出力品質を評価する必要があります)

簡単に言うと、大規模モデルのトレーニングプロセスでは、事前トレーニングはデータの量に非常に高い要求を持ち、必要とされるGPUの計算能力も最も多く、ファインチューニングはパラメータを改善するためにより高品質なデータを必要とし、強化学習は報酬モデルを通じてパラメータを反復的に更新し、より高品質な結果を出力することができます。

トレーニングの過程において、パラメータが多ければ多いほど、その汎化能力の天井が高くなります。例えば、関数の例で言うと、Y = aX + bの場合、実際にはXとX0の2つのニューロンが存在します。したがって、パラメータがどのように変化しても、フィッティングできるデータは非常に限られています。なぜなら、その本質は依然として直線だからです。もしニューロンが多ければ、多くのパラメータを反復することができるため、より多くのデータをフィッティングすることができるのです。これが大規模モデルが奇跡を生む理由であり、また一般的に大規模モデルと呼ばれる理由です。本質的には、膨大な数のニューロンとパラメータ、さらに膨大なデータが必要であり、同時に膨大な計算能力が求められます。

したがって、大規模モデルの性能は主に3つの要因、すなわちパラメータの数、データの量と質、計算能力によって決まります。この3つは大規模モデルの結果の質と一般化能力に共に影響を与えます。パラメータの数をp、データの量をn(トークンの数で計算すると仮定しましょう。そうすれば、一般的な経験則を通じて必要な計算量を計算することができ、購入する必要がある計算能力の状況やトレーニング時間を概算することができます。

計算能力は一般にFlopsを基本単位として表され、1回の浮動小数点演算を示します。浮動小数点演算は非整数の数値の加減乗除の総称であり、例えば2.5+3.557のようなものです。浮動小数点は小数点を持つことができることを示し、FP16は小数点をサポートする精度を表します。FP32は一般的にもっともよく見られる精度です。実践での経験則に基づくと、事前トレーニング)Pre-traning(は通常)大規模モデルを複数回トレーニングする必要があり、約6np Flopsが必要です。6は業界の定数と呼ばれます。そして推論(Inferenceは、私たちがデータを入力し、大規模モデルの出力を待つプロセス)であり、2つの部分に分けられます。n個のトークンを入力し、n個のトークンを出力するため、合計で約2np Flopsが必要です。

初期には、CPUチップを使用してトレーニングを行い、計算力を提供していましたが、その後、徐々にGPUに置き換えられ始めました。例えば、特定の高性能GPUチップなどです。CPUは汎用計算として存在していますが、GPUは専用計算として機能し、エネルギー効率においてはCPUを大きく上回ります。GPUは浮動小数点演算を主にTensor Coreと呼ばれるモジュールを通じて実行します。