Cómo organizar tus consultas de redes neuronales con CPA Manager Plus

Cuando armas un stack de varios modelos de redes neuronales para producción o herramientas personales, el caos eventualmente se instala. Una solicitud fue a Claude, la segunda a Gemini, la tercera expiró en OpenAI, y al final del mes recibes una factura por una cantidad incomprehensible. Si ya estás usando CLIProxyAPI (CPA) para el enrutamiento de tráfico, la interfaz estándar rápidamente se vuelve insuficiente.

El proyecto CPA Manager Plus (CPAMP) llena este vacío. Es un panel de control y sistema de observabilidad que se despliega en tu propio servidor, almacena el historial de solicitudes localmente, y te ayuda a entender dónde se están consumiendo realmente los tokens.

Bajo el Capó

La herramienta consiste en dos partes. La primera es una interfaz web que puede incrustarse directamente en CPA en lugar del panel predeterminado. La segunda es un Manager Server separado en Go con una base de datos SQLite.

La arquitectura es directa y no requiere registros en la nube. El proyecto no envía telemetría externamente—todos los logs y datos de precios de modelos se almacenan en archivos locales. Las claves de acceso se cifran antes de escribirse en la base de datos usando una clave local data.key.

Características Principales del Panel

Encontrar Fallos Sin Filtración de Datos

El problema principal con los agregadores de API es que es difícil entender por qué falló una solicitud. Los logs típicamente contienen ya sea un desastre o JSON sin procesar con datos sensibles del usuario.

CPAMP extrae datos de la cola de CPA y los almacena en SQLite. Obtienes búsqueda por estado, latencia, tipos de tokens y cuentas. Los cuerpos de error se despojan automáticamente de información privada. Si necesitas transferir logs para depuración a otro sistema, el historial puede exportarse en formato JSONL.

Seguimiento Preciso de Costos

El panel desglosa los costos por modelo, proveedor, cuenta, claves API de clientes y proyectos.

Los precios se extraen automáticamente de models.dev, y en caso de problemas hay alternativas a LiteLLM y OpenRouter. Si tienes endpoints personalizados o descuentos corporativos, los precios pueden sobrescribirse manualmente. La aplicación tiene en cuenta estructuras de precios complejas: la diferencia entre tokens de entrada y salida, almacenamiento en caché de contexto y tokens de razonamiento.

Control de Cuentas y Automatización de Cuotas

Cuando trabajas con un grupo de cuentas de Codex y xAI, frecuentemente alcanzas los límites de ventana de solicitudes. CPAMP puede verificar el estado de la cuenta según una programación, leer el estado de la cuota y enviar automáticamente una cuenta a enfriamiento cuando se acerca al límite. Si una cuenta falla, va a una cola de acciones separada para revisión manual o recuperación.

Cómo Lanzar

La forma más fácil de desplegar el bundle de CPA y manager es a través de Docker Compose. Crea un archivo de configuración:

services:
  cli-proxy-api:
    image: eceasy/cli-proxy-api:latest
    restart: unless-stopped
    ports:
      - '8317:8317'
    volumes:
      - cpa-data:/app/data

  cpa-manager-plus:
    image: seakee/cpa-manager-plus:latest
    restart: unless-stopped
    ports:
      - '18317:18317'
    volumes:
      - cpa-manager-plus-data:/data

volumes:
  cpa-data:
  cpa-manager-plus-data:

Inicia los contenedores con el comando docker compose up -d. Después del inicio, abre la dirección http://<host>:18317/management.html, obtén la clave de administrador generada de los logs del contenedor cpa-manager-plus, y vincula CPA a través de la URL y la clave maestra.

Si tu proxy ya se está ejecutando por separado, el manager puede lanzarse como un contenedor independiente:

docker run -d \
  --name cpa-manager-plus \
  --restart unless-stopped \
  -p 18317:18317 \
  -v cpa-manager-plus-data:/data \
  seakee/cpa-manager-plus:latest

Para Quién Es

El proyecto está dirigido a quienes mantienen su propia puerta de enlace de redes neuronales para un equipo o scripts personales. Si estás cansado de adivinar a ciegas por qué falló un pipeline y qué compañero consumió todo el límite diario de tokens, CPAMP resuelve el problema sin complicaciones adicionales con servicios de monitoreo externos. La base de datos se inicia en un par de minutos, no requiere configuración de ClickHouse o Grafana, e inmediatamente te da una imagen clara de lo que está sucediendo.