Nieuws

XGrammar: Hoe grammar-constrained decoding tokens verbiedt en logits beïnvloedt

Dit artikel demonstreert hoe XGrammar, een bibliotheek voor grammar-constrained decoding, bij het genereren van JSON-objecten ongeldige tokens uitschakelt voordat het model ze kan kiezen. Door de sampling-distributie te filteren, wordt herhaaldelijk opnieuw proberen met 'json.loads' overbodig. XGrammar 0.2.3 wordt gebruikt in vLLM, SGLang en andere engines, maar de auteur laat op een CPU zien wat er stap voor stap gebeurt.