#gemma4-26b-a4b

一般的なMacで260億パラメータのモデルを2GBのメモリで実行する方法

エンジニアのAndrey Mikhailovが、Swift/Metalで書かれたカスタムランタイムTurboFieldfareを構築しました。これは基本的なMacBook Air M2の上でわずか2 GBのRAMでGoogleのGemma 4 26B-A4Bモデルを実行します。