Wat is local-first AI?
Local-first AI draait modellen op hardware die jij beheert, en behandelt de cloud als een optie in plaats van de standaard. Je prompts en data blijven op de machine, tenzij jij anders besluit.
Wat het betekent
De meeste AI-tools sturen standaard alles naar een externe dienst. Local-first draait dat om. Het model draait op je eigen machine, de data blijft daar, en naar de cloud gaan is een keuze die je maakt voor een specifieke taak, geen voorwaarde om de tool überhaupt te gebruiken.
Waarom het uitmaakt
Grofweg drie redenen. Je prompts hoeven je laptop niet te verlaten zodat iemand anders ze leest, en dat is het hele privacy-argument. Er zit geen meter op lokaal werk, dus de kosten en de rate limits verdwijnen. En het blijft werken met het internet uit, want het model staat er al.
Er is ook een compliance-kant. Als de data niet beweegt, klopt het meeste van wat de AVG vraagt al. We schreven dat uit in de GDPR-docs.
Zijn lokale modellen goed genoeg?
Voor een groot deel van het dagelijkse werk wel, zodra je weet welk model je moet vragen. Code, samenvattingen, vertaling, transcriptie, eerste drafts. De truc is de taak matchen aan een model dat hem goed afkan, en daar is routing precies voor. Heeft iets echt een frontier-model nodig, dan grijp je voor die taak naar de cloud en blijf je voor de rest lokaal.
Vragen over local-first AI
Wat betekent local-first AI?
Het betekent dat modellen draaien op hardware die jij beheert en je data daar standaard blijft. De cloud is opt-in per taak in plaats van het standaardpad, dus prompts en antwoorden verlaten de machine niet tenzij je ze zelf verstuurt.
Zijn lokale modellen goed genoeg voor echt werk?
Voor een groot deel van het dagelijkse werk wel: code, samenvattingen, vertaling, transcriptie, eerste drafts. De sleutel is elke taak routeren naar een lokaal model dat hem goed afkan, en alleen naar de cloud grijpen als een taak echt een frontier-model nodig heeft.
Is local-first AI echt gratis?
Lokaal draaien heeft geen kosten per token en geen rate limits, en de desktop-app van Soriku is gratis voor solo-gebruik. Je betaalt een provider alleen als je ervoor kiest een taak met je eigen key naar de cloud te routeren.
Hoe helpt local-first met de AVG?
Als prompts, antwoorden en agent-geheugen op je machine blijven, is er in de meeste gevallen geen verwerking door een derde of dataoverdracht om te verantwoorden. Daarmee is de standaardtoestand al een conforme, in plaats van iets dat je moet instellen.