Journey to the Centre of the LLM

On September 29, independent researcher Larry Richards will guide Tokyo Tech Talks beneath that familiar surface. Through experiments with model internals, we will explore what happens inside an LLM and what those internal behaviors can tell us about how it works. Larry studies mechanistic interpretability, sparse representations, activation interventions, and the geometry of language-model internals. He also created and maintains vollib, an open-source library available in Python and TypeScript for option pricing, implied volatility, and Greeks. This session assumes a basic understanding of Transformer models, including layers, activations, and next-token prediction. It focuses on experimental exploration rather than introducing Transformer architecture from the beginning. If you would like to prepare, 3Blue1Brown’s visual introduction to Transformers is an excellent foundation. Tokyo Tech Talks #8「Journey to the Centre of the LLM」は、9月29日（火）に開催します。 私たちは普段、LLMを外側から見ています。言葉を入力すると、言葉が返ってくる。その間にモデル内部で何が起きているのかは、ほとんど見えません。 9月29日のTokyo Tech Talksでは、独立研究者のLarry Richardsさんとともに、その内側を探ります。モデル内部の実験を通して、LLMの中で何が起きているのか、その振る舞いから何がわかるのかを見ていきます。 Larryさんは、メカニスティック・インタープリタビリティ、スパース表現、活性化介入、言語モデル内部の幾何学を研究しています。また、オプション価格、インプライド・ボラティリティ、グリークスを計算するPython・TypeScript対応のオープンソースライブラリvollibの開発とメンテナンスも行っています。 本セッションは、レイヤー、アクティベーション、次トークン予測など、Transformerモデルの基礎知識がある方を対象としています。Transformerの仕組みを最初から解説する入門編ではなく、実験を通してモデル内部を探ることに重点を置きます。事前に準備したい方には、3Blue1BrownのTransformer入門がおすすめです。