レポート2まで、コンピュータがどのようにして言葉を扱えるようになったかを調べてきた。
今度はどのようにして、コンピュータが文章を生成するのかについてレポートする。
ChatGPTと次のような対話をしながら、
[1] どのようにして回答文を生成するのか？
[2] 回答文の作成過程を具体的に端的に説明して。
[3] 自己注意機構を端的に説明して。
[4] クエリベクトルとキーベクトルの特徴は？
[5] 文脈ベクトルは回答の根幹をなす文章の原型か？
今回のレポートをまとめると、
- エンコーダが入力プロンプトを埋込ベクトルに分解し、自己注意機構を使ってクエリ、キー、バリューベクトルを計算する。
- クエリとキーベクトルの内積を計算し、バリューベクトルの重みづけをする。
- この計算をすべてのトークンについて行い、全バリューベクトルを作ってから、この平均値を計算して、文脈ベクトルを作る。
- この文脈ベクトルを使って、文章生成機構が文章を生成していく。
自己注意機構を使うと何故こんなに自然な文章生成ができるのか、その理由については次のレポート4で明らかする。