Python
4 GBのGPU搭載ノートPCで8Bニューラルネットワークをファインチューニングする方法
Soupを使ったコンシューマハードウェアでの8Bモデルファインチューニングの実用ガイドmdashレイヤーストリーミングと自動パイプラインを小型GPUにもたらすCLIツール。
#fine-tuning
2 プロジェクト Python
How to Deploy Any Open-Source AI Model with OpenAI API in One Command
OpenLLM lets you deploy any open-source AI model with an OpenAI-compatible API endpoint in a single command. Built on BentoML and vLLM.