De tensorverwerkingseenheden van Google veranderen de regels voor machine learning

Een van de meest interessante - en onverwachte - aankondigingen die Google vorige week op zijn I / O-ontwikkelaarsconferentie deed, was dat het zijn eigen chips voor machine learning heeft ontworpen en geïmplementeerd. Tijdens zijn keynote introduceerde Google CEO Sundar Pichai wat hij Tensor Processing Units (TPU's) noemde, zeggend dat het bedrijf deze gebruikte in zijn AlphaGo-machines, die Go-kampioen Lee Sedol versloeg.

"TPU's zijn een orde van grootte hogere prestaties per watt dan commerciële FPGA's en GPU's, " zei Pichai. Hoewel hij niet veel details gaf, legde Google onderscheidend hardware-ingenieur Norm Jouppi in een blogpost uit dat een TPU een aangepaste ASIC is (applicatiespecifiek geïntegreerd circuit). Met andere woorden, het is een chip die speciaal is ontworpen om machine learning uit te voeren en speciaal is afgestemd op TensorFlow, het machine-learning framework van Google.

In de post zei Jouppi dat het "toleranter" is voor verminderde rekennauwkeurigheid, wat betekent dat het minder transistors per operatie vereist. Hierdoor kan Google meer bewerkingen per seconde krijgen, waardoor gebruikers sneller resultaten kunnen krijgen. Hij zei dat een bord met een TPU in een hardeschijfsleuf in de datacenterracks past en een afbeelding liet zien van serverracks gevuld met TPU's, waarvan hij zei dat ze werden gebruikt in de AlphaGo-machines van het bedrijf.

Bovendien zei Jouppi dat TPU's al aan een aantal applicaties bij Google werken, waaronder RankBrain, die worden gebruikt om de relevantie van zoekresultaten en Street View te verbeteren om de nauwkeurigheid en kwaliteit van kaarten en navigatie te verbeteren.

In een persconferentie bevestigde de VP van Google voor technische infrastructuur Urs Hölzle dat de TPU 8-bit integer wiskunde gebruikt, in plaats van de hogere precisie drijvende-komma wiskunde waarvoor de meeste moderne CPU's en GPU's zijn ontworpen. De meeste machine-learning-algoritmen kunnen het redden met gegevens met een lagere resolutie, wat betekent dat de chip meer bewerkingen in een bepaald gebied aankan en complexere modellen efficiënt aanpakt. Dit is geen nieuw idee; de ​​Nvidia Drive PX 2-module, eerder dit jaar aangekondigd op CES, is geschikt voor 8 teraflops met 32-bit drijvende-komma precisie, maar bereikt 24 deep-learning "teraops" (de term van het bedrijf voor 8 -bit geheel getal wiskunde).

Hoewel Hölzle weigerde in te gaan op details, zeggen rapporten dat hij bevestigde dat Google vandaag zowel TPU's als GPU's gebruikt. Hij zei dat dit nog enige tijd zal doorgaan, maar suggereerde dat Google GPU's als te algemeen beschouwt en de voorkeur geeft aan een chip die meer is geoptimaliseerd voor machine learning. Hij zei dat het bedrijf later een paper zou uitbrengen waarin de voordelen van de chip worden beschreven, maar maakte duidelijk dat deze alleen voor intern gebruik zijn ontworpen, niet voor verkoop aan andere bedrijven. Een andere toepassing die hij beschreef, was het gebruik van de chips om een ​​deel van het computergebruik achter de spraakherkenningsmotor op de Android-telefoon af te handelen.

De keuze om een ​​ASIC te gebruiken is een interessante gok van Google. De grootste vooruitgang in machine learning in de afgelopen jaren - de technologie achter de grote drang naar diepe neurale netten - was de acceptatie van GPU's, in het bijzonder de Nvidia Tesla-lijn, om deze modellen te trainen. Meer recent heeft Intel Altera gekocht, een toonaangevende fabrikant van FPGA's (in het veld programmeerbare gate-arrays), die ergens in het midden liggen; ze zijn niet zo algemeen als GPU's of zo specifiek ontworpen voor TensorFlow als de chip van Google, maar kunnen worden geprogrammeerd om verschillende taken uit te voeren. Microsoft heeft geëxperimenteerd met Altera FPGA's voor diep leren. IBM ontwikkelt zijn TrueNorth Neurosynaptische chip die speciaal is ontworpen voor neurale netten en die onlangs is gebruikt in een verscheidenheid aan toepassingen. Cadence (Tensilica), Freescale en Synopsys pushen hun DSP's (digitale signaalprocessors) om deze modellen te draaien; Mobileye en NXP hebben onlangs chips aangekondigd die speciaal zijn ontworpen voor ADAS en zelfrijdende auto's; en verschillende kleinere bedrijven, waaronder Movidius en Nervana, hebben plannen aangekondigd voor chips die specifiek zijn ontworpen voor AI.

Het is te vroeg om te weten welke aanpak op de lange termijn het beste zal zijn, maar het hebben van een aantal zeer verschillende opties betekent dat we waarschijnlijk een aantal interessante concurrentie in de komende jaren zullen zien.