跳到主要内容
Context Window

LLM 上下文长度怎么理解

上下文长度就是模型在一次处理里能同时看到的 token 总数。系统提示词、历史对话、检索内容、当前提问和正在生成的输出,都会一起占用这个窗口。

Context Window
返回原理演示
查看产品

滑动窗口演示

LLM 上下文长度怎么理解

点击播放后,高亮窗口会沿着 token 序列移动。窗口外的内容不是永久消失,而是这一次生成里不再被同时看到。

当前可见

1 / 10
系统
提示词
角色
规则
历史1
历史2
历史3

窗口外内容

业务背景用户问题补充资料检索片段A检索片段B当前提问模型输出1模型输出2模型输出3