Nieuws

Implementatie van programmatische tool calling op Amazon Bedrock

Programmatische tool calling (PTC) laat LLM's Python-code schrijven om meerdere tool-aanroepen in één keer te orkestreren, wat de latentie en tokenconsumptie drastisch vermindert. AWS beschrijft drie implementaties op Amazon Bedrock: een zelf-gehoste Docker-sandbox op ECS, een beheerde oplossing via AgentCore Code Interpreter en een proxy voor Anthropic SDK-compatibiliteit. Testresultaten tonen een reductie van 87-92% in tokenverbruik en verbeterde nauwkeurigheid.