Quickstart

Van nul naar werkende lokale AI in vijf minuten. Installeer de engine, pull een model, stel je eerste vraag.

Installeer

Clone de repo, maak een Python-omgeving aan en installeer de engine met de extras die je nodig hebt.

git clone https://github.com/atypisch/soriku.git
cd soriku
python -m venv .venv && source .venv/bin/activate
pip install -e ".[all]"

Soriku is een Python 3.11+ FastAPI-applicatie. De [all]-extra installeert server, MCP, document-parsing, billing en voice. Wil je een minimale install, pak dan een kleinere extra zoals [server].

Pull een model via Ollama

Soriku routeert prompts naar het model dat het beste scoort op de taak. Er moet minstens één lokaal model beschikbaar zijn voordat hij ergens naartoe kan routeren.

ollama pull qwen2.5-coder:7b
ollama pull deepseek-r1:7b
ollama pull qwen2.5:7b
ollama pull nomic-embed-text

De eerste drie dekken code, reasoning en algemeen gebruik. nomic-embed-text is het standaard embedding-model en blijft permanent geladen omdat het klein is.

Start de server

python server.py

De chat-UI staat nu op http://localhost:8765. Het OpenAI-compatible endpoint zit op http://localhost:8765/api/v1/chat/completions.

Stel je eerste vraag

Open de UI, type een prompt en Soriku kiest het beste geïnstalleerde model voor de taak. In het antwoord zie je welk model antwoordde en waarom het werd gekozen.

Routing zonder benchmarks

Bij eerste gebruik gebruikt Soriku bootstrap-scores afgeleid van publieke benchmarks. Voor routing afgestemd op jouw hardware draai je de lokale benchmark-suite. Zie Benchmarks draaien.

Waar je nu heen kan

Installatie voor de complete install-matrix (Docker, systeemvereisten, GPU-detectie).
Smart routing om te begrijpen wat Soriku doet wanneer het routeert.
Externe provider toevoegen om Claude, OpenAI, Mistral, Groq of Gemini in de routing-pool te krijgen.
Gebruik met Cursor of VS Code voor de MCP-integratie.