Usa Dolphin LLM en Continue para VS Code y JetBrains

Actualizado

Continue es un asistente de código de código abierto para VS Code y JetBrains. Acepta cualquier modelo compatible con OpenAI, por lo que puedes usar Dolphin LLM para chat, ediciones y explicaciones en tu editor.

Puntos clave

  • Añade un modelo con el proveedor openai, modelo uncensored and apiBase establecer a la URL base que aparece a continuación.
  • Asigna los roles de chat, edición y aplicación; mantén el autocompletado en un modelo local pequeño.
  • Establecer contextLength hasta 262144 para que Continue recorte correctamente los prompts largos.
  • No hay un endpoint de embeddings, así que usa otro proveedor para la indexación de la base de código.

Añade el modelo a config.yaml

Abre la configuración de Continue (el engranaje en el panel de Continue) y elige abrir el archivo de configuración, o edita ~/.continue/config.yaml directamente. Añadir un modelo:

name: My config
version: 0.0.1
schema: v1
models:
  - name: Dolphin LLM
    provider: openai
    model: uncensored
    apiBase: https://dolphinllm.com/v1
    apiKey: YOUR_KEY
    roles:
      - chat
      - edit
      - apply
    defaultCompletionOptions:
      contextLength: 262144
      maxTokens: 2048
      temperature: 0.3

Guarda el archivo. Continue se recarga y Dolphin LLM aparece en el menú de modelos del panel de chat. Crea tu clave en tu cuenta; si aún no tienes una, registrarse y se añaden $0.50 de crédito de prueba al abrir la cuenta por primera vez.

Página de cuenta con el prefijo de la clave API activa, la URL base compatible con OpenAI y un comando curl listo para usar
Cuenta → API y saldo: tu clave y la URL base, con un ejemplo de curl para copiar.

Mantén la clave fuera del archivo

Si compartes o sincronizas tu configuración, no pegues la clave en ella. Las versiones recientes de Continue leen secretos desde ~/.continue/.env:

# ~/.continue/.env
DOLPHIN_API_KEY=YOUR_KEY

y el bloque del modelo luego utiliza apiKey: ${{ secrets.DOLPHIN_API_KEY }}. Si tu versión no lo resuelve, informa una clave faltante; pega la clave directamente y mantén el archivo en privado.

Qué roles asignarle

  • chat: preguntas sobre código, explicaciones, planes de refactorización. La ventana de 262,144 tokens contiene aproximadamente 490 páginas de código y texto, por lo que varios archivos caben en una sola pregunta.
  • edit and apply: reescribir una selección o aplicar un cambio sugerido al archivo.
  • autocomplete: no recomendado. La finalización de pestañas dispara una solicitud en casi cada pausa al escribir, lo que aumenta el costo y espera la latencia de red. Un modelo local pequeño es mejor para eso.
  • embed: no disponible. Esta API no tiene un endpoint de embeddings, por lo que la indexación del código requiere un proveedor de embeddings separado o uno local.

Consejos para tareas de programación

  • Usa una temperatura baja (0.2 a 0.4) para código, más alta solo para lluvia de ideas.
  • Adjunta solo los archivos que necesitas. Cada línea adjunta son tokens de entrada en cada solicitud en ese chat.
  • Inicia un nuevo chat cuando cambies de tarea, para que el historial anterior no se envíe de nuevo.
  • Continue transmite respuestas; la API admite streaming con uso de tokens al final.

Costo

Una solicitud típica con 8.000 tokens de código y pregunta y una respuesta de 1.000 tokens cuesta 8.000 × $0.15 / 1.000.000 + 1.000 × $0.50 / 1.000.000 = $0.0017. Un día con 100 de estas solicitudes es $0.17, unos $5 al mes. La prueba cubre aproximadamente 290 de ellas. Consulta la página de precios.

Solución de problemas

  • 404 no_encontrado. apiBase debe terminar en /v1; Continuar añade /chat/completions itself.
  • 401 clave_no_válida. Verifica la clave o el nombre del secreto; reinicia el editor después de cambiarlo .env.
  • 429 concurrencia en una clave de prueba. La prueba permite 2 solicitudes paralelas. Desactiva otras funciones de Continue que llamen al mismo modelo, o recarga para 8 solicitudes paralelas.

Preguntas y respuestas

¿Qué proveedor elijo en Continue?

provider: openai with apiBase establecido en https://dolphinllm.com/v1 y el modelo uncensored.

¿Puedo usarlo para autocompletado en pestañas?

Funciona, pero no es una buena opción: el autocompletado envía muchas solicitudes pequeñas. Usa un modelo local pequeño para el autocompletado y Dolphin LLM para chat y ediciones.

¿Soporta indexación de código?

No por sí solo. La API no tiene un endpoint para embeddings, así que configura un modelo de embeddings independiente.

Más guías

Tu clave está a un formulario de distancia

Crea una cuenta, copia la clave y cambia la URL base. Así de sencillo es el proceso.