Durante semanas, algunas respuestas llegaban «de golpe»: varios segundos de nada y, de repente, el texto completo. La primera hipótesis fue el transporte de streaming, que ya había dado guerra. Esta vez el transporte estaba intacto. El problema estaba del otro lado de la petición.
Medir antes de tocar
Antes de cambiar nada, medimos el camino completo con un instrumento propio: un prompt del tamaño real del producto (22.720 caracteres) enviado directo al router de inferencia. Dos corridas, mismo prompt, una diferencia:
| Medición | Sin el parámetro | Con reasoning_effort: "none" |
|---|---|---|
| Primer texto del proveedor | 4.685 ms | 1.001 ms |
| Razonamiento oculto | 1.403 caracteres | 0 |
| Respuesta de 40 líneas | 16 s antes del primer texto | texto progresivo desde 2,8 s |
La lectura es directa: sin el parámetro, el proveedor razonaba en silencio antes de soltar la primera letra. Ese razonamiento no se mostraba; solo se notaba en el reloj.
La causa raíz
El modo rápido declaraba el razonamiento apagado, pero la petición al proveedor viajaba sin el parámetro que lo apaga. La configuración del modelo no tenía la equivalencia para «apagado», así que la intención se quedaba en casa y el proveedor decidía por su cuenta. El síntoma parecía de red; la causa era de configuración.
El arreglo fue declarar la equivalencia en los dos lados donde se pide el modelo (aprovisionamiento y perfil de desarrollo), reforzada con los mapas de compatibilidad:
{ "reasoning_effort": "none" }Blindar el arreglo
Un cambio así no se da por bueno con una prueba manual. Quedaron tres blindajes:
- Pruebas unitarias del payload que viaja al proveedor, de la provisión y de los avisos.
- Una sonda en vivo que falla si el texto se retiene: corre cinco escenarios (respuesta corta, larga, pensamiento, investigación y reintento) y mide cuándo aparece la primera letra.
- Un criterio de aceptación explícito: el texto tiene que crecer letra a letra, no llegar en bloques.
Resultado de la sonda: primer texto visible entre 3,6 y 9,3 segundos según el escenario, con 21 a 44 muestras de crecimiento progresivo. El modo rápido dejó de razonar en silencio.
Las lecciones
- «Apagado» tiene que ser apagado también en el protocolo. Una bandera interna no basta si el parámetro no viaja.
- Los valores por defecto mienten. El proveedor tenía un comportamiento razonable por defecto que no era el nuestro.
- Mide el camino completo. El transporte era inocente; la petición, no. Sin instrumento, habríamos «arreglado» la capa equivocada.
- Una sonda viva vale más que una captura de pantalla. La medición de hoy es evidencia; la sonda que corre siempre es garantía.
Los números completos de la campaña, con sus límites, están en la página de benchmarks del sitio.