Het uitvoeren van grote taalmodellen (LLMS) op pc’s wordt lokaal wereldwijd steeds populairder. In reactie daarop introduceert AMD zijn eigen LLM-applicatie, Gaia, een open-source project voor het uitvoeren van lokale LLMS op elke Windows-machine.
Gaia is ontworpen om verschillende LLM -modellen op Windows -pc’s uit te voeren en beschikt over verdere prestatie -optimalisaties voor machines uitgerust met zijn Ryzen AI -processors (inclusief de Ryzen AI Max 395+). Gaia gebruikt de open-source limonade SDK van ONNX turnkeyML voor LLM-inferentie. Modellen kunnen naar verluidt zich aanpassen voor verschillende doeleinden met Gaia, inclusief samenvatting en complexe redeneringstaken.
Afbeelding 1 van 2
GAIA zou naar verluidt een ophalen-geavanceerde generatieagent of dag doorlopen. Rag combineert een LLM met een kennisbasis, waardoor de LLM een interactieve AI-ervaring kan bieden voor de eindgebruiker, samen met meer accurate en contextueel bewuste antwoorden. Rag bevat momenteel vier Gaia -agenten: eenvoudige snelle voltooiing, een agent ontworpen voor directe modelinteracties die bedoeld zijn voor testen en evaluatie; Chaty, het chatbotgedeelte van een LLM dat interactie heeft met de gebruiker; Clip, een agent met YouTube -zoekopdracht en Q & A -functionaliteit; en Joker, een grap -generator die een humoristische persoonlijkheid toevoegt aan de chatbot.
AMD’s nieuwe open-source project werkt door LLM-specifieke taken te bieden via de limonade SDK en ze in meerdere runtimes te dienen. Naar verluidt limonade “legt een LLM -webservice bloot die communiceert met de Gaia -applicatie … via een OpenAi -compatibele REST API.” Gaia zelf fungeert als een AI-aangedreven agent die gegevens haalt en verwerkt. Het “vectoriseert ook externe inhoud (bijv. GitHub, YouTube, tekstbestanden) en slaat het op in een lokale vectorindex.”
Met andere woorden, Gaia kan gebruikersvragen verbeteren voordat de LLM ze verwerkt, naar verluidt verbetering van de nauwkeurigheid en relevantie van de reacties.
De nieuwe AI -chatbot heeft twee installateurs: een mainstream -installatieprogramma dat op elke Windows -pc werkt (of die pc AMD -hardware heeft of niet) en een “hybride” installatieprogramma geoptimaliseerd voor Ryzen AI -pc’s. Deze laatste stelt Gaia specifiek in staat om berekeningen uit te voeren op een Ryzen AI CPU’s Neural Processing Unit (NPU) en geïntegreerde graphics voor betere prestaties.
Gaia is de nieuwste concurrent in de nieuwe Zee van gelokaliseerde LLM -applicaties, waaronder LM Studio en ChatRTX. Het lokaal uitvoeren van een LLM heeft aanzienlijke voordelen ten opzichte van cloudgebaseerde oplossingen, waaronder een grotere beveiliging, lagere latentie en, in sommige gevallen, betere prestaties, afhankelijk van de systeemhardware. Het beste van alles, lokale LLM’s werken offline en vereisen geen internetverbinding.
