共用主会话context 的子会话避免污染主会话上下文

Problem

在主要任务,比如修改代码的任务执行过程中, 常常伴随调试需求,包括比对日志等。但是如果在当前会话进行调试需求或者日志比对,会浪费上下文空间或者污染kv cache。这种情况下如果想要避免的话往往需要另起一个会话来进行刚刚调试需求的总结并开始会话,然后再将调试结果反馈回第一个主会话。

Solution

如果主会话可以拥有复制kv cache / context的能力,起一个sub-session,然后进行调试或者日志比对等,起完之后销毁也可以。这样既满足了主会话的上下文不会污染,又可以满足避免重复prefill的开销。

Use Case

主任务伴随子任务执行,需要共享上下文的场景。如代码开发伴随调试需求的场景,非常常见

Priority

  • :red_circle: High - Blocking issue
  • :yellow_circle: Medium - Important improvement
  • :green_circle: Low - Nice to have

Additional Info

(Optional: screenshots, examples, links)