一个 AI 决策端,多个输入执行通道。包含真正可调用的 MCP 服务、浏览器执行器、本地协作文档编辑器、配套 Skill,以及可录屏重放的演示。
| 场景 | 实现 | 如何验证 |
|---|---|---|
| 一个表单的十道题 | 一次 form_patch 定向选择十个选项 |
读取真实浏览器 DOM 的 checked 值 |
| 十个文本输入框 | 一次 form_patch 设置十个值,并触发 input/change |
回读每个输入框实际值 |
| 多页面并行键盘输入 | 独立 Playwright BrowserContext 和 Page,各自执行 pressSequentially |
起止时间重叠;三个页面的文字分别正确 |
| 同一文档多位置同时插入 | 每个光标持有排他行锁、Yjs 相对位置锚点、独立 Y.Doc 副本 | 最终全文精确匹配;前面插入换行后,后面位置不漂移 |
| AI 自选通道数量 | workspace_observe 返回容量;AI 提交任意有效批次和 parallelism |
当前上限 10;演示分别采用 4、1、3 路 |
| 本地文档文件 | document_open / document_save 支持 .txt 和 .md |
保存后读取文件,验证字节内容一致 |
这里的“并发”指独立任务执行时间重叠。页面 JavaScript 事件和 Yjs 事务仍有应用顺序。一个表单的批量操作不是十个操作系统鼠标;界面中的十个标记显示十个目标。
当前 Codex(唯一的模型决策端)
│ MCP / stdio
▼
src/mcp-server.mjs —— 工具定义、参数校验、服务 instructions
│ loopback HTTP
▼
src/service.mjs —— 状态、工具路由、文件读写、实时预览
├── scheduler.mjs —— 资源队列、并发上限、依赖、取消
├── browser.mjs —— Playwright、批量 DOM 操作、逐字输入
└── documents.mjs —— Yjs 副本、相对锚点、行锁、合并
执行器内部不调用任何模型,也不需要额外模型 API Key。Skill 指导当前 AI 如何观察、拆分任务、选择数量、验证和继续。parallelism: "auto" 仅计算独立执行资源数量和上限,不具备任务语义判断能力。
同页普通鼠标/键盘动作串行;不同页面并发;同一文档不同光标锁并发。不同批次之间也共用资源锁和全局并发上限。同一光标只能有一个活动写入者。
需要 Node.js 20 或更新版本,以及 Chromium(或设 MULTI_INPUT_CHANNEL=chrome 用本机 Chrome)。首次使用:
npm ci
npx playwright install chromium
npm run install:codex安装脚本通过官方 codex mcp add 注册 multi-input,并把配套 Skill 复制到 Codex skills 目录;不会覆盖不同内容的同名配置或 Skill。需要安装了 Codex CLI,且它位于 PATH。
开始新的 Codex 聊天/会话后,工具和 Skill 才能被发现。 当前聊天通过独立 MCP 客户端完成协议测试,不代表原生工具目录可以热加载。
本地运行时会在第一次工具调用时自动启动。默认端口 43187,仅监听 127.0.0.1。演示工作台:
http://127.0.0.1:43187/
也可以单独运行 npm start。界面中的表单/多页面面板是只读实时观察视图,实际输入发生在执行器管理的独立浏览器页面;文档面板直接显示合并后的共享文档和真实锚点。
默认模式每个页面都是全新的无登录态 Chromium。要填需要登录的表单,用下面两种模式之一,pages 会以标签页形式共享同一份登录状态:
| 模式 | 环境变量 | 适合 |
|---|---|---|
| 专用持久化 profile(推荐) | MULTI_INPUT_USER_DATA_DIR=~/.multi-input/chrome-profile |
登录一次,之后每次复用 cookie |
| 连接已运行的浏览器 | MULTI_INPUT_CDP_URL=http://127.0.0.1:9222 |
浏览器用 --remote-debugging-port=9222 --user-data-dir=<非默认目录> 启动;Chrome 136 起默认 profile 不允许远程调试 |
其他相关变量:MULTI_INPUT_CHANNEL=chrome 直接用本机安装的 Google Chrome(不用再装 Playwright 的 Chromium),MULTI_INPUT_EXECUTABLE_PATH 指定浏览器路径,MULTI_INPUT_HEADLESS=0 显示窗口,MULTI_INPUT_UPLOAD_ROOT 限制可上传文件所在目录。
首次登录(先停掉正在运行的服务,同一 profile 只能被一个浏览器打开):
MULTI_INPUT_USER_DATA_DIR=~/.multi-input/chrome-profile MULTI_INPUT_CHANNEL=chrome npm run login
# 默认打开 B站投稿页和公众号后台;登录完关掉窗口注册到 Claude Code 或 Codex(环境变量会写进 MCP 配置):
MULTI_INPUT_USER_DATA_DIR=~/.multi-input/chrome-profile MULTI_INPUT_CHANNEL=chrome MULTI_INPUT_HEADLESS=0 npm run install:claude同一个 MCP 服务器两边都能用,Codex 用 npm run install:codex,前面加同样的环境变量即可。两边同时开着时会共用 127.0.0.1:43187 上同一个本地服务和同一个浏览器,环境变量以先启动服务的那一方为准。
在这两种模式下,page_open 打开新标签页,page_attach 可接管已打开的标签页(按 URL 片段匹配),reset 不会关闭接管的标签页,CDP 模式退出时只断开连接。
为真实网站新增的动作:
| 动作 | 用途 |
|---|---|
form_patch 里的 fill 作用于 contenteditable |
富文本简介、正文编辑器;用 execCommand('insertText') 写入,换行转段落,按空白归一化后回读校验 |
upload |
ref 指向 input[type=file](隐藏的也会被观察到)或上传按钮(自动接住文件选择框);value 为绝对路径或路径数组 |
click_text |
按可见文字点击,selector 或 ref 限定容器;用于自定义下拉、合集弹窗、选项卡 |
press |
按键,如在标签输入框里 Enter 生成标签 |
wait_text |
等文字出现,如“上传完成”,timeout_ms 最长 10 分钟 |
workspace_observe 新增 selector(只观察某个容器)和 include_links: false(大页面去掉链接),并会返回 placeholder、contenteditable 文本、role=switch 等开关的 aria-checked。
仿投稿页验证:npm run test:rich,在 tests/fixtures/upload-form.html 上一次批次完成视频上传、标题与富文本简介、自定义分区下拉、两个回车标签、开关和封面选择框,全部回读校验。这个夹具只模拟了常见控件形态,真实 B站页面的结构需要首次使用时观察确认。
新聊天可以这样要求:
使用 $multi-input。观察工作区,根据任务自行选择并发数量。在同一文档的不同段落插入内容,批量填写表单,完成后回读验证并保存。
工具:
| 工具 | 作用 |
|---|---|
workspace_observe |
获取页面元素 refs、文档行、光标、容量、任务状态 |
page_open |
打开独立浏览器上下文 |
document_create |
创建新的内存文档 |
document_open |
从配置的文档目录读取 .txt / .md |
document_save |
保存并回读验证文件 |
cursor_lock |
一次锁定多个不重叠的行,并创建稳定光标锚点 |
cursor_release |
释放已停止写入的光标锁 |
execute_batch |
提交动作、依赖和期望并发数,返回任务编号 |
job_status |
查询实际结果、每项起止时间和峰值并发 |
job_cancel |
取消排队任务和文档逐字输入 |
示例:先观察文档,再锁定两个实际存在的行。
{
"document_id": "notes",
"cursors": [
{"id": "A", "line": 5},
{"id": "B", "line": 8}
]
}然后调用 execute_batch:
{
"parallelism": 2,
"actions": [
{"id": "a", "op": "document_insert", "document_id": "notes", "cursor_id": "A", "text": "第一处新增内容"},
{"id": "b", "op": "document_insert", "document_id": "notes", "cursor_id": "B", "text": "第二处新增内容"}
]
}不必创建固定数量的操作系统光标。AI 根据任务选择锁定几个位置;调度器根据独立资源和容量安排执行。
新增 /film 白底文档场景,以及 /sheet 工作表场景。它们是 Word / Google Sheets 风格的本地可交互演示页面,底层仍由同一 MCP 执行实际修改,没有接入这两个产品的账号或编辑 API。
新版 form_patch 支持 fill、set_checked、select_option。后者接受下拉值字符串,或原生多选框的值数组;页面观察会返回可用 options 和已选值。一次示例批次完成 6 条记录、54 个目标:文本、单选、多选勾选、下拉、日期、数字。
当需要自然错峰时,一次提交完整批次,并为独立目标设置不同的 start_ms;文本目标可设置 typing_ms,下拉预览可设置 preview_ms。文档动作则支持 start_ms 和 pace_ms。这些参数调整实际写入时间,任务仍在同一批次内重叠推进,而不是逐项等待模型重新决策。
npm run test:mixed
npm run capture:film -- .runtime/white-film
npm run film:cards -- .runtime/white-film
python3 scripts/edit-film.py .runtime/white-film music.wav final.mp4capture:film 会清空本服务自己的演示状态,然后通过真实 MCP 客户端录制 4K 素材;edit-film.py 将它剪成 28 秒、1080p / 30 fps 的配乐版本,包含 13 个镜头、推近、横向聚焦和字幕。配乐文件由调用者提供;脚本默认使用开头 28 秒并在结尾淡出。字幕默认使用 macOS 黑体字体,在其他平台需调整字体路径。
npm test
npm run test:e2e
npm run demotest:e2e 和 demo 会清空这个服务自己的演示工作区,不会清理外部文件。演示默认写入 demo-results/:录屏 WebM、截图、工具调用记录、计划说明、验证结果和最终 Markdown 文档。
演示是本次 Codex 根据观察编排的计划,通过真实 MCP stdio 客户端执行的可重放示例。它没有把脚本冒充另一个实时思考的 AI。新任务的动态规划由接入工具后的 Codex 完成;这个重放脚本本身不调用模型。
录屏展示真实状态变化,没有以 CSS 动画伪造输入。为便于看清多路同时输入,演示使用 pace_ms: 140 放慢逐字输入;它不是效率基准。表单仍按实际批量执行速度完成。
可以用独立客户端直接检查协议:
npm run call -- tools/list
npm run call -- workspace_observe '{"page_ids":[]}'测试覆盖:并发锚点漂移、中文/emoji、重叠锁拒绝、同资源跨任务互斥、依赖环、失败依赖跳过、取消保留已执行内容、失效表单引用、真实 DOM 回读、多页面键盘输入重叠、保存再打开。
| 环境变量 | 默认值 | 用途 |
|---|---|---|
MULTI_INPUT_PORT |
43187 |
本地服务端口 |
MULTI_INPUT_URL |
自动使用本地端口 | 连接已经运行的服务;此模式不自动启动服务 |
MULTI_INPUT_HEADLESS |
1 |
设为 0 可显示执行器 Chromium 窗口 |
MULTI_INPUT_DOCUMENT_ROOT |
项目下 documents/ |
.txt / .md 文件的读写目录 |
MULTI_INPUT_USER_DATA_DIR |
无 | 持久化 profile 目录,保留登录态 |
MULTI_INPUT_CDP_URL |
无 | 连接已运行的浏览器(优先于 profile) |
MULTI_INPUT_CHANNEL |
无 | 如 chrome,使用本机安装的浏览器 |
MULTI_INPUT_EXECUTABLE_PATH |
无 | 浏览器可执行文件路径 |
MULTI_INPUT_UPLOAD_ROOT |
无 | 设置后只允许上传该目录下的文件 |
文档列偏移使用 UTF-16,与 JavaScript 字符串一致;省略 column 表示行末。演示按 Unicode 字素切分逐字写入,避免把 emoji 的代理对拆开显示。
文档尚未保存的内容在服务退出后丢失。批次不提供事务回滚;取消或失败会保留已执行的修改。正在运行的浏览器动作可能在取消后完成。一次 click 只证明事件已发出,应重新观察应用结果。
form_patch 使用合成 DOM 事件,适合普通 HTML 表单;特定框架或要求可信输入事件的网站可能需要改用普通 Playwright 操作或专用适配器。
同一文档多光标能力目前针对内置协作编辑器。没有适配 Word、Google Docs、任意 Canvas 编辑器,也没有改变现有 UIT/电脑操作插件的内部实现。 现有插件的页面引用不能直接传给本服务;本服务维护自己的浏览器和元素引用。
- MCP SDK:https://github.com/modelcontextprotocol/typescript-sdk
- Codex MCP:https://learn.chatgpt.com/docs/extend/mcp
- Playwright:https://playwright.dev/docs/browser-contexts
- Yjs:https://github.com/yjs/yjs
依赖版本固定在 package-lock.json,便于复现本次验证。