2023-09-22
Genombrott inom effektiv Djup maskininlärning
AI-podden med Mert Pilanci, professor vid Stanford University
Vi har det stora nöjet att välkomna Mert Pilanci, professor vid Stanford University. Mert Pilanci delar med sig av sina senaste forskningsgenombrott inom maskininlärning.
Mert och hans grupp upptäckte att träningen av ytliga neurala nätverk kan omvandlas till supereffektiva algoritmer som alltid uppnår bästa möjliga noggrannhet på första försöket. Detta i motsats till de senaste metoderna där blind parametersökning utförs, vilket kräver en enorm mängd tid, beräkningar och energiförbrukning. Mert Pilanci och hans grupp vid Stanford visar att denna omvandling gäller för populära och allmänt använda nätverksstrukturer som transformatorn, MLP-mixern och konvolutionella neurala nätverk.
Ather och Mert diskuterar begränsningarna i de nuvarande metoderna, men också deras teoretiska kapacitet att approximera alla givna dataset.
Slutligen delar Mert med sig av sina tankar om var han kan se de nyutvecklade verktygen användas, till exempel för att finjustera stora språkmodeller och andra grundläggande modeller.
AI-podden med Mert Pilanci, professor vid Stanford University.