Nieuws

Improved Batch Inference API: Enhanced UI, Expanded Model Support, and 3000× Rate Limit Increase

Together.ai heeft aangekondigd dat de Batch Inference API aanzienlijk is verbeterd met een vernieuwde gebruikersinterface, universel toegang tot modellen en een 3000× hogere rate limit, tot 30B tokens per gebruiker. De API is nu 50% goedkoper dan real-time APIs en geschikt voor grote datasets, zoals text analysis, fraud detection en synthetic data generation. De updates maken grote-schaal inferentie toegankelijker en kosteneffectiever.