Murata Lab

大規模言語モデル（LLM）は、次の単語の予測を繰り返すことで高精度な回答を生成できる一方、入力から回答に至るまでの内部処理は十分に明らかになっていない。特に、複数の生成ステップを通して段階的に回答を構成する場合、途中の生成内容が後続の処理に影響するため、各ステップが最終回答にどのように寄与しているかを評価することは難しい。本研究では、逐次的な回答生成における重要なステップを特定し、ステップ間のつながりを考慮しながら、入力から最終回答までの内部処理を人間が理解できる形で説明することを目指す。