Productie-deployment

Wat verandert tussen dev en productie: process-supervisie, TLS, database-backing, monitoring en capaciteitsplanning.

Process-supervisie

Draai onder een process manager (systemd, supervisord, Kubernetes) zodat Soriku herstart bij crash. Gebruik een echte ASGI-server config: 2-4 Uvicorn workers achter een reverse proxy.

uvicorn server:app \
  --host 0.0.0.0 \
  --port 8765 \
  --workers 4 \
  --proxy-headers \
  --forwarded-allow-ips '*'

TLS

Termineer TLS op de reverse proxy (Caddy, nginx, Traefik). Soriku termineert geen TLS zelf, by design: de proxy regelt renewal.

Database

Lokale SQLite is prima voor single-user. Voor multi-tenant productie, richt op Postgres via DATABASE_URL. Migraties draaien automatisch bij eerste start.

Monitoring

/api/health voor liveness probes
Structured logs naar stdout, scrape met je gebruikelijke log-pipeline
Routing-beslissingen in data/routing_log.jsonl, ship naar je data warehouse voor analyse
Benchmark-metrics uit benchmarks/results/capability_map.json om drift bij te houden

Capaciteit

Lokale model-inference is RAM-bound. Voor elk concurrent 7B-model geladen, budget 5-6 GB. De router handhaaft RAM-aware loading en laadt geen twee grote modellen tegelijk tenzij je het geheugen hebt.