Como Organizar Suas Consultas de Rede Neural com CPA Manager Plus

Quando você monta uma pilha de vários modelos de rede neural para produção ou ferramentas pessoais, o caos eventualmente se instala. Uma solicitação foi para o Claude, a segunda para o Gemini, a terceira expirou no OpenAI, e no final do mês você recebe uma fatura com um valor incompreensível. Se você já está usando CLIProxyAPI (CPA) para roteamento de tráfego, a interface padrão rapidamente se torna insuficiente.

O projeto CPA Manager Plus (CPAMP) preenche essa lacuna. É um painel de controle e sistema de observabilidade que é implantado em seu próprio servidor, armazena o histórico de solicitações localmente e ajuda você a entender onde os tokens estão realmente sendo consumidos.

Por Trás das Cortinas

A ferramenta consiste em duas partes. A primeira é uma interface web que pode ser incorporada diretamente no CPA em vez do painel padrão. A segunda é um Manager Server separado em Go com um banco de dados SQLite.

A arquitetura é direta e não requer registros na nuvem. O projeto não envia telemetria externamente—todos os logs e dados de preços de modelos são armazenados em arquivos locais. As chaves de acesso são criptografadas antes de serem gravadas no banco de dados usando uma chave local data.key.

Principais Funcionalidades do Painel

Encontrando Falhas Sem Vazamento de Dados

O principal problema com agregadores de API é que é difícil entender por que uma solicitação falhou. Os logs tipicamente contêm ou uma bagunça ou JSON bruto com dados sensíveis do usuário.

O CPAMP extrai dados da fila do CPA e os armazena no SQLite. Você obtém pesquisa por status, latência, tipos de tokens e contas. Os corpos de erro são automaticamente limpos de informações privadas. Se você precisar transferir logs para depuração para outro sistema, o histórico pode ser exportado em formato JSONL.

Rastreamento Preciso de Custos

O painel divide os custos por modelo, provedor, conta, chaves de API do cliente e projetos.

Os preços são extraídos automaticamente do models.dev, e em caso de problemas existem fallbacks para LiteLLM e OpenRouter. Se você tiver endpoints personalizados ou descontos corporativos, os preços podem ser substituídos manualmente. O aplicativo considera estruturas de preços complexas: a diferença entre tokens de entrada e saída, cache de contexto e tokens de raciocínio.

Controle de Contas e Automação de Cotas

Ao trabalhar com um pool de contas Codex e xAI, você frequentemente atinge os limites da janela de solicitações. O CPAMP pode verificar o status da conta em um agendamento, ler o estado da cota e enviar automaticamente uma conta para modo de espera quando se aproximar do limite. Se uma conta apresentar problemas, ela entra em uma fila de ações separada para revisão ou recuperação manual.

Como Iniciar

A maneira mais fácil de implantar o pacote CPA e manager é via Docker Compose. Crie um arquivo de configuração:

services:
  cli-proxy-api:
    image: eceasy/cli-proxy-api:latest
    restart: unless-stopped
    ports:
      - '8317:8317'
    volumes:
      - cpa-data:/app/data

  cpa-manager-plus:
    image: seakee/cpa-manager-plus:latest
    restart: unless-stopped
    ports:
      - '18317:18317'
    volumes:
      - cpa-manager-plus-data:/data

volumes:
  cpa-data:
  cpa-manager-plus-data:

Inicie os containers com o comando docker compose up -d. Após a inicialização, abra o endereço http://<host>:18317/management.html, pegue a chave admin gerada nos logs do container cpa-manager-plus e vincule o CPA via URL e master key.

Se o seu proxy já estiver sendo executado separadamente, o manager pode ser iniciado como um container independente:

docker run -d \
  --name cpa-manager-plus \
  --restart unless-stopped \
  -p 18317:18317 \
  -v cpa-manager-plus-data:/data \
  seakee/cpa-manager-plus:latest

Para Quem É

O projeto é direcionado para quem mantém seu próprio gateway de rede neural para uma equipe ou scripts pessoais. Se você está cansado de adivinhar cegamente por que um pipeline falhou e qual colega consumiu todo o limite diário de tokens, o CPAMP resolve o problema sem complicação extra com serviços de monitoramento externos. O banco de dados é iniciado em poucos minutos, não requer configuração de ClickHouse ou Grafana, e imediatamente oferece uma visão clara do que está acontecendo.