Murata Lab

近年、LLMの基盤となるモデル構造として、Transformerに加えてMambaと呼ばれるモデルが注目されている。TransformerとMambaを組み合わせたハイブリッドモデルは、計算効率を保ちながら高い性能を示すことが報告されている。本研究では、Transformer、Mamba、およびハイブリッドモデルに同じ文章を入力し、入力された情報がモデル内部をどのように伝わり、出力に利用されるかを解析する。これにより、各モデルにおける情報処理の違いを明らかにするとともに、ハイブリッドモデルにおいてTransformerとMambaを組み合わせることで高い性能が得られる理由を解明することを目的とする。