GPT-3、GPT-3.5、GPT-4は、自然言語処理におけるOpenAIの言語モデルです。それぞれの違いを信頼性が高いサイトから情報を引用し、まとめました。

GPT-3とGPT-3.5とGPT-4の違い、特徴や性能差は?

そもそも「GPT」とは

Generative Pre-trained Transformer（GPT）は、OpenAIによって作られた言語モデルです。

インターネット上の膨大なテキストデータを学習させ、人間のように自然な言語処理を得意としています。

GPTの後に数字が続くことからも分かるように、年々アップデートされており、その数値によって用途やAIの学習数・学習方法が変化します。

GPT-3とGPT-3.5とGPT-4の違い

直近で、話題に上がることも多いGPT-3/GPT-3.5/GPT-4には明確に違いがあります。

言語モデル	用途	パラメータ数	アーキテクチャ	リリース日
GPT-3	汎用	1750億個	GPT-2 スパースアテンション	2020年6月11日
GPT-3.5	汎用	3000億個	非公開	2022年3月15日
GPT-4	汎用マルチモーダル	数千億～数兆個	テキスト予測 RLHF	2023年3月14日

マルチモーダルとは
テキストや画像、音声、動画などの複数の種類の情報を一度に処理することが可能なAI技術のことをいいます。(出典)

パラメータ数とは
機械学習モデルが学習中に最適化する必要のある変数の数を指します。これらの変数は、モデルが入力データを処理し、予測や生成を行う際に使用されます。(出典)

スパースアテンション（Sparse Attention）とは
Transformerと呼ばれるデータ間の関係性を学習するモデルを、Googleがより効率的に長期関係を捉えることができるようにしたの改良モデル(出典)

RLHF（Reinforcement Learning from Human Feedback）とは
人間の価値基準に沿うように、人間のフィードバックを使ってAI（言語）モデルを強化学習で微調整（ファインチューニング）する手法である。(出典)

GPT-3の特徴

GPT-3は、以前のモデル(GPT-2)に比べてパラメータ数が大幅に大きくなり、1つのモデルで1750億個のパラメータを持っています。これにより、高度な自然言語生成が可能で、文章や質問に対して優れた回答を生成できます。また、多くの異なるタスクに対しても適用できることが特徴です。

GPT-3.5の特徴

GPT-3.5は、GPT-3の発展形であり、モデルの規模がさらに拡大されています。パラメータ数はGPT-3から大幅に増え、3000億個に達しています。これにより、GPT-3.5はさらに高度な文章生成や質問応答が可能になり、より自然な対話を行うことができます。
ChatGPTは、このGPT-3.5 以降の言語モデルを使用しています。

GPT-4の特徴

GPT-4は、GPTシリーズの最新のモデルです。このモデルでは、さらにパラメータの数が増え、数千億から数兆個に達していると言われています。これにより、GPT-3.5と比べても非常に高い言語理解と生成能力を持ち、より人間に近い対話や文章生成を可能にします。また、GPT-4はマルチモーダルAIであり、テキストのみならず画像でも同時に処理することができます。

要約すると、GPT-3からGPT-3.5への進化はモデルのスケール増加に焦点を当てており、GPT-3.5からGPT-4への進化はモデルのスケールと性能の向上が行われています。