Databricks, een bedrijf dat grote bedrijven helpt aangepaste kunstmatige intelligentiemodellen te bouwen, heeft een truc voor machine learning ontwikkeld die de prestaties van een AI -model kan stimuleren zonder dat er een schone gelabelde gegevens nodig zijn.
Jonathan Frankle, Chief AI -wetenschapper bij Databricks, bracht het afgelopen jaar door met het praten met klanten over de belangrijkste uitdagingen waarmee ze worden geconfronteerd om AI betrouwbaar te laten werken.
Het probleem, zegt Frankle, zijn vuile gegevens.
“Iedereen heeft wat gegevens en heeft een idee van wat ze willen doen”, zegt Frankle. Maar het ontbreken van schone gegevens maakt het een uitdaging om een model af te stemmen om een specifieke taak uit te voeren. “Niemand verschijnt met mooie, schone verfijnde gegevens die u in een prompt of een [application programming interface]’Voor een model.
Het model van Databricks kan bedrijven in staat stellen om uiteindelijk hun eigen agenten in te zetten om taken uit te voeren, zonder datalwaliteit in de weg staat.
De techniek biedt een zeldzame kijk op enkele van de belangrijkste trucs die ingenieurs nu gebruiken om de mogelijkheden van geavanceerde AI -modellen te verbeteren, vooral wanneer goede gegevens moeilijk te vinden zijn. De methode maakt gebruik van ideeën die hebben bijgedragen aan het produceren van geavanceerde redeneermodellen door het leren van versterking te combineren, een manier voor AI-modellen om te verbeteren door de praktijk, met ‘synthetische’, of door AI gegenereerde trainingsgegevens.
De nieuwste modellen van Openai, Google en Deepseek zijn allemaal sterk afhankelijk van het leren van versterking en synthetische trainingsgegevens. Wired onthulde dat Nvidia van plan is Gretel te verwerven, een bedrijf dat gespecialiseerd is in synthetische gegevens. “We navigeren allemaal in deze ruimte”, zegt Frankle.
De databricks -methode maakt gebruik van het feit dat, gezien voldoende pogingen, zelfs een zwak model goed kan scoren op een bepaalde taak of benchmark. Onderzoekers noemen deze methode om de prestaties van een model “best-of-n” te stimuleren. Databricks heeft een model getraind om te voorspellen welke best-of-n resultaat menselijke testers de voorkeur zouden geven, op basis van voorbeelden. Het databricks -beloningsmodel, of DBRM, kan vervolgens worden gebruikt om de prestaties van andere modellen te verbeteren zonder de noodzaak van verdere gelabelde gegevens.
DBRM wordt vervolgens gebruikt om de beste uitgangen van een bepaald model te selecteren. Dit creëert synthetische trainingsgegevens voor het verdere afstemmen van het model zodat het de eerste keer een betere output produceert. Databricks roept zijn nieuwe aanpak-testtijd adaptieve optimalisatie of Tao aan. “Deze methode waar we het over hebben, maakt gebruik van een aantal relatief lichte versterking leren om in feite de voordelen van de best-of-n in het model zelf te bakken,” zegt Frankle.
Hij voegt eraan toe dat het onderzoek van Databricks aantoont dat de TAO -methode verbetert naarmate deze wordt opgeschaald naar grotere, meer capabele modellen. Versterking leren en synthetische gegevens worden al veel gebruikt, maar het combineren ervan om taalmodellen te verbeteren is een relatief nieuwe en technisch uitdagende techniek.
Databricks is ongewoon open over hoe het AI ontwikkelt omdat het klanten wil laten zien dat het de vaardigheden heeft die nodig zijn om krachtige aangepaste modellen voor hen te maken. Het bedrijf onthulde eerder aan Wired hoe het DBX ontwikkelde, een geavanceerde Open Source Large Language Model (LLM) helemaal opnieuw.
