So führen Sie ein neuronales Netz mit 27 Milliarden Parametern auf einem normalen iPhone oder Heim-PC aus

Kürzlich habe ich mich dabei ertappt, wie ich dachte: Wir haben uns daran gewöhnt, dass das Ausführen ernsthafter LLMs (Large Language Models) Server-Racks mit A100s oder zumindest High-End-RTX-4090s erfordert. Aber was wäre, wenn ich Ihnen sagen würde, dass ein 27B-Modell jetzt in den RAM eines normalen Smartphones oder Laptops ohne dedizierte Grafikkarte „gepresst" werden kann? Genau das macht das Bonsai-demo-Projekt vom Prismml-Team, und zwar mithilfe der Magie von 1-Bit- und ternärer Quantisierung.

Worum geht es in dem Projekt

Das Hauptproblem bei großen Modellen ist ihre „Gier". Ein Standard-27B-Modell im 16-Bit-Format wiegt etwa 50 GB. Selbst die beliebte 4-Bit-Komprimierung (Q4_K_M) benötigt 16-17 GB Videospeicher nur für die Gewichte. Bonsai-demo bietet einen Schritt in die entgegengesetzte Richtung: 1-Bit- und ternäre (1,58-2 Bit) Modelle.

Das Ergebnis: Bonsai-27B in der 1-Bit-Konfiguration benötigt nur 3,5 GB. Das entspricht der Größe eines durchschnittlichen Mobile Games. Die Entwickler behaupten, dass das Modell die Fähigkeit zum Reasoning, zur Bildverarbeitung und sogar zum Tool-Aufruf behält.

Was dieses „Baum"-Modell kann

Ich habe mir das Repository genauer angeschaut und einige Punkte herausgearbeitet, die besonders hervorstechen.

Sehen und Dokumentenverarbeitung

Die 27B-Serienmodelle hier sind nicht nur textbasiert. Es handelt sich um multimodale Systeme. Man kann ihnen Screenshots, Fotos oder PDF-Dateien geben. Im Inneren wird ein spezieller Projektor verwendet, der visuelle Daten in Tokens umwandelt, die das Modell verstehen kann. Für ein lokales System, das auf der CPU läuft, sieht das wie Magie aus.

Agentenähnliches Verhalten und MCP

Die Demo enthält einen vollwertigen Client für das MCP (Model Context Protocol). Falls Sie es verpasst haben: Das ist ein neuer Standard von Anthropic, der es dem Modell ermöglicht, sich mit externen Daten zu verbinden. Bonsai-demo hat bereits vorkonfigurierte Tools für die Arbeit mit DeepWiki und Hugging Face. Das Modell halluziniert also nicht nur – es geht für Fakten ins Internet.

„Denk"-Modus

Die 27B-Modelle verfügen über eine Chain-of-Thought-Reasoning-Funktion. In der Benutzeroberfläche können Sie ein Thinking-Budget festlegen: von einer schnellen Antwort bis hin zu einer tiefgehenden Analyse mit über 8.000 Tokens. Wenn Ihre Hardware schwach ist, sollten Sie es besser auf Low setzen, sonst müssen Sie lange warten, während das Modell seine Gedanken im Hintergrund „spinnt".

Extremer Kontext-Sparmodus

Normalerweise verbraucht ein Kontext von 100.000 Tokens Gigabytes an Speicher. Hier haben die Autoren experimentelle Unterstützung für 4-Bit KV-Cache hinzugefügt. Dies reduziert den Speicherverbrauch für lange Gespräche um das 3,5-Fache. In Zahlen: 100k Tokens benötigen etwa 1,8 GB statt der üblichen 6,3 GB.

Technische Details

Das Projekt basiert auf einem Fork von llama.cpp und dem MLX-Framework für Apple Silicon. Interessanterweise ist die 1-Bit-Quantisierungsunterstützung (Q1_0) bereits in den Hauptzweig von llama.cpp eingeflossen. Bei ternären Gewichten (Q2_0) ist die Situation etwas komplexer: Sie befinden sich derzeit im Migrationsprozess, weshalb das Projekt eigene vorkompilierte Binärdateien für verschiedene Plattformen mitliefert.

Wenn Sie einen Mac mit M-Chip haben, zieht das Build-Skript MLX und kompiliert alle Komponenten direkt für Ihre Architektur. Für Windows und Linux werden Skripte mit automatischer Erkennung von CUDA und Vulkan bereitgestellt.

So probieren Sie es aus

Die Entwickler haben den Prozess so „nahtlos" wie möglich gestaltet. Sie müssen keine Gewichte manuell von Hugging Face herunterladen oder die Umgebung konfigurieren.

Für macOS oder Linux reichen drei Zeilen:

git clone https://github.com/PrismML-Eng/Bonsai-demo.git
cd Bonsai-demo
./setup.sh

Das Skript installiert automatisch den Paketmanager uv, erstellt eine virtuelle Umgebung, lädt das erforderliche Modell herunter (standardmäßig Ternary-Bonsai-27B) und bereitet die Binärdateien vor.

Danach können Sie einen lokalen Server starten:

./scripts/start_llama_server.sh

Und öffnen Sie localhost:8080 in Ihrem Browser. Dort finden Sie einen vertrauten Chat, in dem Sie sowohl Vision als auch die Generierungsgeschwindigkeit testen können.

Lohnt es sich, es auszuprobieren

Bonsai-demo geht es nicht darum, „GPT-4 zu töten", sondern um Zugänglichkeit. Wenn Sie einen intelligenten Assistenten auf einem Büro-Laptop ohne Grafikkarte betreiben oder ein LLM in eine mobile Anwendung einbetten müssen, bietet dieses Projekt eine fertige Grundlage.

Natürlich sind 1-Bit-Modelle dümmer als ihre vollwertigen Gegenstücke. Sie machen möglicherweise mehr Fehler bei komplexen logischen Aufgaben. Aber für grundlegende Automatisierung, Textklassifizierung oder einfache Chatbots mit einem Kontext von 256k Tokens – das ist eine der effizientesten Lösungen, die derzeit verfügbar sind.

Der Hauptvorteil des Repositories ist seine „verpackte" Natur. Sie müssen kein Quantisierungsspezialist sein, um ein ternäres Modell auszuführen. Alle schmutzigen Tricks mit Kompilierung und Parameter-Tuning sind bereits in den Bash-Skripten versteckt.