Routing werkt niet

Routing-beslissingen zien er verkeerd of onvoorspelbaar uit. Diagnose met de routing-log en de capability map.

1. Kijk naar de daadwerkelijke beslissing

tail -1 data/routing_log.jsonl | jq

De laatste routing-beslissing bevat de prompt-classifier output, de constraints, de kandidaat-modellen met hun scores, het gekozen model, en de reden waarom.

2. Verifieer dat de capability map fresh is

jq '.meta' benchmarks/results/capability_map.json

Als confidence: low overal opduikt, draai je op bootstrap-scores. Draai een benchmark: python -m benchmarks --quick.

3. Kiest de classifier het juiste task-type?

Als een code-prompt geclassificeerd wordt als general en geroute naar een non-coding model, heeft de classifier hem gemist. Check de classifier-output in de routing-log. Als workaround, pin het task-type: extra_body={'task_type': 'coding'}.

4. Override en verder

Als je weet welk model je wil, sla routing volledig over: model='qwen2.5-coder:7b' in plaats van model='auto'. De override wordt gelogd zodat je later kan terugkijken.

Als routing je blijft verrassen, file een issue met de routing-log-entry erbij. De classifier is rule-based en we tunen hem uit echte failure-cases.