如何在普通 iPhone 或家用电脑上运行 270 亿参数神经网络

最近我突然想到：我们已经习惯了运行大型 LLM（Large Language Models，大语言模型）需要配备 A100 的服务器机架，或者至少是顶级的 RTX 4090 显卡。但如果你告诉我，一个 270 亿参数级别的模型现在可以"压缩"到普通智能手机或笔记本电脑的内存中运行，而不需要独立显卡呢？Prismml 团队的 Bonsai-demo 项目正是这样做的，它运用了 1 位和三值量化的魔法。

项目核心是什么

大模型的主要问题在于它们的"贪婪"。一个标准的 270 亿参数模型以 16 位格式存储大约需要 50 GB。即使是流行的 4 位压缩（Q4_K_M）也仅权重就需要 16-17 GB 的显存。Bonsai-demo 提供了一个走向极端的方案：1 位和三值（1.58-2 位）模型。

因此，Bonsai-27B 以 1 位配置运行仅占用 3.5 GB。这相当于一款普通手机游戏的体积。开发者声称该模型保留了推理能力、图像识别能力，甚至可以调用工具。

这棵"树"能做什么

我深入研究了这个代码库，并重点关注了几个突出的功能。

视觉和文档处理

这里的 270 亿参数系列模型不仅仅是基于文本的。这些是多模态系统。你可以向它们输入截图、照片或 PDF 文件。内部使用了一个特殊的投影器，将视觉数据转换为模型能够理解的 token。对于一个在 CPU 上运行的本地系统来说，这看起来就像魔法一样。

类 Agent 行为和 MCP

该演示包含一个完整的 MCP（Model Context Protocol，模型上下文协议）客户端。如果你错过了这个：这是 Anthropic 的一个新标准，允许模型连接到外部数据。Bonsai-demo 已经配置好了开箱即用的工具，用于连接 DeepWiki 和 Hugging Face。因此，模型不仅仅是产生幻觉——它会去互联网上查找事实。

"思考"模式

270 亿参数模型具有思维链推理功能。在界面中，你可以设置思考预算：从快速回答到深度分析 8,000+ 个 token。如果你的硬件较弱，最好将其设置为低档，否则你将不得不等待很长时间，让模型在后台"转动"它的思考。

极端的上下文节省

通常，100,000 个 token 的上下文会消耗数 GB 的内存。在这里，作者添加了 4 位 KV-cache 的实验性支持。这将长对话的内存消耗减少了 3.5 倍。具体数字：100k 个 token 占用约 1.8 GB，而不是通常的 6.3 GB。

技术细节

该项目依赖于 llama.cpp 的一个分支和 Apple Silicon 的 MLX 框架。有趣的是，1 位量化支持（Q1_0）已经开始流入 llama.cpp 主版本。对于三值权重（Q2_0），情况稍微复杂一些：它们目前正在迁移过程中，因此项目为不同平台提供了自己的预编译二进制文件。

如果你有一台配备 M 芯片的 Mac，构建脚本将拉取 MLX 并为你的架构编译所有组件。对于 Windows 和 Linux，提供了带有 CUDA 和 Vulkan 自动检测的脚本。

如何尝试

开发者将这个过程做得尽可能"无缝"。无需手动从 Hugging Face 下载权重或配置环境。

对于 macOS 或 Linux，只需要三行代码：

git clone https://github.com/PrismML-Eng/Bonsai-demo.git
cd Bonsai-demo
./setup.sh

脚本将自动安装包管理器 uv，创建虚拟环境，下载所需的模型（默认为 Ternary-Bonsai-27B），并准备二进制文件。

之后，你可以启动本地服务器：

./scripts/start_llama_server.sh

然后在浏览器中打开 localhost:8080。那里会有一个熟悉的聊天界面，你可以在其中测试视觉功能和生成速度。

值得尝试吗

Bonsai-demo 不是为了"杀死 GPT-4"，而是为了提高可访问性。如果你需要在没有显卡的办公笔记本电脑上运行智能助手，或者将 LLM 嵌入到移动应用程序中，这个项目提供了一个现成的基础。

当然，1 位模型比它们的完整版本更"笨"。它们在复杂的逻辑任务中可能会犯更多错误。但对于基本的自动化、文本分类，或带有 256k token 上下文的简单聊天机器人——这是目前可用的最高效的解决方案之一。

该仓库的主要优势在于其"打包"特性。你不需要成为量化专家才能运行三值模型。所有关于编译和参数调整的繁琐技巧都已经隐藏在 bash 脚本内部了。