本页内容
  1. 终端本身
  2. 会话内核
  3. 管住用户自带的 agent
  4. 前端
  5. 把注意力当成核心资源
  6. 弱网和多设备
  7. 输入和输出的高保真

本页列出 cotty 打算做的事,分三部分:终端本身、会话内核和前端。它是一张地图。每个能力在设计出来之后有自己的页面。目前只有注意力卡片。

终端本身

完全不用 agent,cotty 也必须值得用。人一整天都待在终端里,建在二流终端之上的东西没有人会用。下面这些能力是其余一切的地基。

  1. 终端模拟。
    • 兼容 xterm 和 VT 系列终端。TERM 和 terminfo 正常工作,通过 ssh 用到的老程序表现和以前一样。
    • 完整支持程序现在依赖的各种扩展。其中包括:真彩色、带样式的下划线、超链接(OSC 8)、剪贴板(OSC 52)、Kitty 键盘协议、用 Kitty 图形协议和 Sixel 显示图片、同步输出、桌面通知(OSC 9、99 和 777),以及 shell 在命令前后打的标记(OSC 133)。完整的清单会写成一页规范。
    • 每个扩展都是渐进增强。地基是 xterm 的朴素行为,扩展只在它上面做加法。程序开启了扩展,它才生效;程序用来探测终端能力的查询,cotty 都会回答。什么都不问的程序,看到的还是它一直看到的那个终端。
    • cotty 自己新增的东西从另一侧遵守同一条规则:在不认识它的终端里,它优雅地退回成纯文本。
    • 模拟器在会话内核里运行,每个会话只运行一份。所有客户端显示同一块屏幕,内核始终知道屏幕上是什么。下文的记录、给 agent 的快照和状态同步都建立在这一点上。
  2. 渲染。
    • 打字从不等输出,大量输出也从不卡住窗口。
    • 文字排得正确:宽字符、组合字符、emoji,以及字体之间的回退。
    • 图片和语义块原生绘制,窗口大小变化时文字重新换行。
  3. 把命令当成单位。 屏幕知道每条命令从哪开始、到哪结束,所以人可以:
    • 从一条命令跳到下一条,并让正在运行的命令保持可见;
    • 折叠一条命令的输出,或者把它整段选中、复制;
    • 一眼看出哪条命令失败了;
    • 找到执行过的任何一条命令,连同它的输出。
  4. 每个平台都有客户端。
    • 桌面端:macOS、Linux 和 Windows。手机和平板:iOS 和 Android。浏览器:一个网页就能接入会话,不用安装任何东西。
    • 这个网页由用户自己机器上的会话内核提供,从不由我们的服务器提供。设备怎样连到会话,见内核的能力 4。
    • 每个客户端都是所在平台的原生应用,使用平台自己的输入法、快捷键和通知。
    • 窗口、标签页和窗格是内置的,不需要另装复用器。

终端模拟、渲染和客户端的标准,是各个平台上最好的终端。衡量的指标还没有定,比如从按键到字符出现的延迟预算。

会话内核

  1. 结构化的会话记录。
    • 对每条命令,内核记下命令行、目录、开始和结束时间、退出码、原始输出和最终显示的输出,以及期间是否运行了全屏程序。
    • 手段:OSC 133 标记命令边界,tcgetpgrp 给出前台进程,/proc 给出目录,切换到备用屏幕(1049)说明进入了全屏程序。
    • 记录可以在本地搜索和回放。
  2. 给 agent 的标准接口,通过 MCP 或 socket API。
    • 读取命令块,或带区域信息的屏幕快照。
    • 发送输入,等待命令结束,并拿到退出码,不用轮询。
    • cotty 是中立的宿主。用户带自己的 agent。
    • 人和 agent 共用一个会话。彼此可见,也可以打断对方。
  3. 与 agent 无关的控制。 它管得到用户自带的 agent,不只是 cotty 内置的 agent。管住这类 agent 的几条路列在下文。
    • 审批与策略:agent 发起的命令先过规则。
    • 输出脱敏:输出送往云端模型之前,遮掉 API key 和 token。
    • 撤销:在 btrfs 或 zfs 上,执行危险命令之前打快照。
    • 审计记录。
  4. 跨设备常驻的会话。 后台进程持有会话。笔记本、手机或网页都可以断开再接上。设备连到会话有两种方式。
    • 通过用户已有的网络: 本机、局域网、用户自己的 VPN,或者 ssh 隧道。这不需要账号,也不经过我们的服务器。
    • 通过中继,从任何地方接入。 中继是可选的。它只转发,不解密:每台机器有自己的域名和自己的证书,加密在那台机器上才结束,网页由那台机器提供,而不是由中继提供。中继看得到一台机器什么时候在线、经过了多少流量。它看不到内容,也换不了网页。
    • 配对。 一台设备只需配对一次:用机器上显示的配对码,或者在已经配对的设备上批准。浏览器用通行密钥登录的是那台机器本身。中继手里没有任何能打开会话的东西。
    • 不受信任的浏览器得到的是一个不能输入的视图,并且在发送任何内容之前,密钥已经被脱敏。
  5. 弱网下的状态同步。 内核同步的是屏幕状态而不是字节,这是 mosh 的做法,并把它扩展到回滚历史和结构化命令块。
  6. 本地优先,模型无关。 辅助功能可以接任意 OpenAI 兼容的接口,包括自托管的模型。不需要账号,数据可以不出本地网络。

管住用户自带的 agent

终端处在键盘和程序之间。光靠这个位置管不住 agent。Claude Code、Codex 这类 agent 在自己的子进程里执行每条命令,用管道读输出,所以终端只看得到 agent 的界面。这个位置只管得住人,以及通过终端接口执行命令的 agent。

要管住用户自带的 agent,有三条路:

路线 做法 需要什么
执行接口 agent 用 cotty 提供的工具执行命令,也就是能力 2。命令走 pty,所以会被记录,也会先过规则。 agent 配合。
hooks cotty 接上 agent 的 hooks,比如 Claude Code 的 PreToolUse,把每次审批变成一张卡片。 每个 agent 一个适配。
由终端启动 cotty 把 agent 启动在沙箱里(bubblewrap、Landlock),并把它的模型 API 地址(比如 ANTHROPIC_BASE_URL 或 OPENAI_BASE_URL)指向本地代理。请求离开本机之前,代理做脱敏和审计。 不需要 agent 做任何事。

“由终端启动"这条路最接近由终端层来保证。目前只验证了它的第一步:给 agent 什么地址,它就连什么地址。在代理里读取和脱敏请求还没有验证。见把 agent 的模型接口地址指向本机端口。

cotty 先做哪条路,还没有决定。

现有的终端只控制自己内置的 agent。对照见六项能力在各家终端里的现状。

前端

前端沿三个方向做。

把注意力当成核心资源

这是前端的中心。

  • 终端当初是为一个人盯一条字节流设计的。现在是一个人盯很多个 agent。
  • 前端是一个决策驾驶舱。待处理的请求显示成卡片,写明要做什么、影响(diff、文件、命令、网络)和风险。一个键就能批准、拒绝或修改,卡片可以批量处理。一次决定可以记成规则。
  • 它依赖内核的语义数据。卡片上的证据来自记录,而不是 agent 自己的说法。

见注意力卡片。

弱网和多设备

技术上这是最难的一部分。

  • 终端显示的内容是一张字符网格的状态。mosh 证明了同步状态比转发字节强:Ctrl+C 立即生效,换网络连接不断,打字靠预测在本地回显。
  • mosh 没有回滚历史,没有结构,也不支持多个设备。
  • cotty 保留这三条特性,并同步屏幕状态、结构化命令块和回滚历史。同一个会话在每种设备上用不同的视图打开:手机上是收件箱,笔记本上是全貌。
  • 难点在协议设计、终端兼容的正确性,以及在真实网络上的调优。
  • 一个真实案例是机上 Wi-Fi,往返延迟约 940 ms,见实地记录。

输入和输出的高保真

这一项逐步推进。

  • 输入。 终端的输入是有损的按键字节,但人给 agent 的是自然语言、截图、文件和语音。cotty 提供真正的输入框:多行编辑、把粘贴的截图和文件作为附件、语音口述。
  • 输出。 每个 agent CLI 都在用字符格重造一个小 GUI。窗口一缩放排版就乱,复制的文字还带着画框字符。cotty 在 OSC 之上定义语义块(markdown、diff、图片),由前端原生渲染:文字可以选中,换行跟着窗口走,内容可以折叠。在不支持的终端里,语义块退回成纯文本。
  • 采纳。 这需要生态。cotty 先用 hooks 接上 Claude Code 和 Codex,再公开协议。herdr 的 OSC 7501 走的是同一步。