Nieuws

RAG, vector database en Gemma LLM in één mobiele app gestopt

Een ontwikkelaar bouwde een volledig lokale mobiele app die RAG, een vector database (ObjectBox) en Gemma LLM op het toestel draait. De app vereist geen cloud of API-sleutels na de eerste modeldownload. Notities worden gechunkd, geëmbed met EmbeddingGemma en opgeslagen in een HNSW-index. Vragen worden beantwoord via hybride retrieval en LLM-inferentie op de telefoon.