如何让 Claude Code 学会看视频并理解屏幕内容
昨天我想向 Claude Code 精确解释一个工具在屏幕录制中的哪个时间点抛出了错误。我不得不手动截屏、裁剪相关区域，然后把文件拖入聊天窗口。当 bug 很多，或者问题出现在会议录制的第十分钟时，这种手动方式很快就让人厌倦了。
大多数语言模型无法直接流式传输或读取大型 MP4 文件。开发者 Jordan Vasconcelos 的仓库 claude-video-vision 优雅地解决了这个问题。它既是 Claude Code 的插件，也是 MCP 服务器，充当感知层。它将视频转换为一系列帧画面和带时间戳的转录文本，然后将所有内容输入神经网络。
底层工作原理
工作流程非常简单。所有切片和提取媒体数据的技术工作都由 Node.js MCP 服务器处理。
当你让 Claude 分析视频时，两个并行进程会同时启动：
- ffmpeg 将帧切片为 JPEG、PNG 或 WebP 格式，并编码为 base64。
- 音频后端 提取音轨并转换为带时间戳的文本转录。
然后 Claude 会收到一组现成的图像和按时间顺序排列的文本。一个有趣的细节：模型会自行决定使用什么帧率和分辨率来切片视频。
如果你问"第 90 秒时黑板上写了什么？"，插件不会处理整个一小时的视频。模型会请求高分辨率帧，并在特定时间段（01:25 到 01:35）内以较高频率采样。如果你要求对整个讲座进行简要总结，插件会降低帧率，并在整个时长内稀疏地收集预览图。
底层：后端选项
对于音频处理，作者提供了三个可选方案：
- Gemini API。每天 15,000 次请求的免费额度足以应对大多数任务，而且不仅能处理语音，还能识别背景声音事件。只需一个 API 密钥即可。
- 本地 Whisper。可通过
whisper.cpp或 Python 包openai-whisper运行。完全离线运行，首次启动时所需模型会自动下载。 - OpenAI API。如果你不想加载本地处理器，也不想在 Google AI Studio 注册账号，可以使用 OpenAI 的付费 Whisper API。
YouTube 支持值得单独说明。如果你传入视频链接，插件会通过 yt-dlp 下载视频。服务器首先尝试获取人工字幕。如果没有人工字幕，则拉取 YouTube 自动生成的字幕。如果字幕缺失或过于碎片化，则启动选定的音频后端。Claude 能看到转录来源，并理解文本的准确度级别。
安装和首批命令
插件直接在 Claude Code 会话中安装。只需依次运行以下命令：
/plugin marketplace add https://github.com/jordanrendric/claude-video-vision
/plugin install claude-video-vision
安装完成后，会启动交互式设置向导：
/claude-video-vision:setup-video-vision
向导会检查 ffmpeg，让你选择音频后端，如果你选择了离线模式则下载 Whisper 模型。配置保存到 ~/.claude-video-vision/config.json。在那里你可以设置默认帧分辨率、图像格式（例如 PNG 适合截图中的清晰文字）以及每次请求的最大帧数。
你可以通过特殊命令或普通聊天格式使用该插件：
/watch-video ~/Downloads/demo.mp4 "какой язык программирования используется в туториале?"
/watch-video https://www.youtube.com/watch?v=... "сделай краткое содержание"
或者直接在聊天中输入：
查看 ~/videos/bug-report.mov 中 bug 出现的前一秒，告诉我出了什么问题。
适用场景
该工具覆盖了多个常见开发任务：
- Bug 报告分析。用户或 QA 工程师发来了屏幕录制。你可以把文件丢给 Claude，然后问它在第三秒时控制台出现了什么错误。
- 记录讲座和教程笔记。你可以丢一个一小时 YouTube 演讲的链接，然后获得一份带时间戳和关键幻灯片截图的结构化大纲。
- UI 动画审查。当以无损 PNG 格式发送帧时，模型可以评估视频中的布局和过渡流畅度。
- 快速搜索会议录像。一小时的会议录像可以快速按关键主题筛选，无需手动逐帧查找。
值得一试吗
这个项目还很新，但在 GitHub 上已经获得了超过一千颗星。主要优势包括精心设计的架构、通过自适应帧率合理处理上下文窗口，以及通过 whisper.cpp 实现完全本地运行的能力。
一些注意事项：需要安装 ffmpeg，YouTube 视频还需要 yt-dlp。在 macOS 上，所有依赖项都可以通过 Homebrew 轻松安装；在其他操作系统上，需要手动安装。
如果你经常在终端中使用 Claude Code，并且经常处理视频录制或演示片段，这个插件会为你节省大量时间。
相关项目