Mobiele processors van 2018: de opkomst van functies voor machine learning

Het is niet verrassend dat de smartphones van dit jaar snellere processors hebben dan die van vorig jaar - dat gebeurt elk jaar. Maar wat dit jaar nieuw is, is de overheersing van machine learning-functies die zowat elke processorverkoper aanprijst als een manier om zijn apparaten te onderscheiden. Dit geldt voor de telefoonverkopers die hun eigen chips ontwerpen, de onafhankelijke of verkopende chipverkopers die processors verkopen aan telefoonverkopers, en zelfs de IP-makers die de cores ontwerpen die de processors zelf ingaan.

Achtergrond

Eerst een beetje achtergrondinformatie: alle moderne applicatieprocessors bevatten ontwerpen (vaak intellectueel eigendom of IP genoemd) van andere bedrijven, met name bedrijven als ARM, Imagination Technologies, MIPS en Ceva. Zo'n IP kan in verschillende vormen verschijnen - ARM verkoopt bijvoorbeeld alles, van een basislicentie voor zijn 32-bits en 64-bits architectuur tot specifieke kernen voor CPU's, grafische afbeeldingen, beeldverwerking, enz., Die chipontwerpers vervolgens kunnen gebruiken om processors maken. Gewoonlijk combineren en combineren chipontwerpers deze kernen met hun eigen ontwerpen, en maken ze verschillende keuzes met betrekking tot geheugen, interconnects en andere functies, in een poging om de prestaties in evenwicht te brengen met stroomvereisten, grootte en kosten.

Aan de voorkant van de CPU hebben de meeste chips een combinatie van grotere kernen die krachtiger zijn en sneller en heter werken, en kleinere kernen die efficiënter zijn. Normaal gesproken gebruiken telefoons meestal de kleinere cores, maar voor veeleisende taken schakelen ze over naar de krachtigere cores en gebruiken ze een combinatie van zowel cores als GPU en andere cores om de prestatiebehoeften en thermische overwegingen het beste te beheren (je kunt niet gebruik de krachtige kernen heel lang, omdat ze oververhit raken, en meestal hoeft u dat niet te doen). De bekendste voorbeelden voor de grote kernen zijn ARM's Cortex-A75- en A73-kernen; de bijpassende kleinere kernen zouden de A55 en A53 zijn. In de geavanceerde telefoons van vandaag zie je er vaak vier van elk in een zogenaamde octa-core lay-out, hoewel sommige leveranciers een andere aanpak hebben gekozen.

Voor grafische afbeeldingen is er meer diversiteit, waarbij sommige leveranciers kiezen voor de Mali-lijn van ARM, anderen kiezen voor PowerVR van Imagination Technologies en weer anderen kiezen voor het ontwerpen van hun eigen grafische cores. En er is nog meer diversiteit als het gaat om zaken als beeldverwerking, digitale signaalverwerking en de laatste tijd AI-functies.

appel

Apple begon zijn AI-mogelijkheden te pushen in zijn herfsttelefoonaankondigingen, waaronder met name de "A11 Bionic" -chip die wordt gebruikt in de iPhone 8 en 8 Plus, evenals de iPhone X.

De A11 Bionic is een zes-core architectuur, met twee hoogwaardige kernen en vier efficiënte kernen. Apple ontwerpt zijn eigen cores (onder een ARM-architectuurlicentie) en heeft traditioneel een single-threaded performance gepusht. Dit is een stapje hoger dan de vier-core A10 Fusion, en Apple zei dat de prestatiekernen in de A11 tot 25 procent sneller zijn dan in de A10, terwijl de vier efficiëntiekernen tot 70 procent sneller kunnen zijn dan de A10 Fusion-chip. Het zei ook dat de grafische processor tot 30 procent sneller is.

Apple heeft het over de chip met een dual-core "Neural Engine", die kan helpen met scèneherkenning in de camera-app, en Face ID en Animoji op de iPhone X. Het bedrijf heeft ook een API uitgebracht met de naam CoreML, om derden te helpen ontwikkelaars maken applicaties die hiervan profiteren.

Apple geeft meestal niet veel informatie over zijn processors, maar zegt dat de A11 Bionic neurale motor een dual-core ontwerp is dat tot 600 miljard bewerkingen per seconde kan uitvoeren voor realtime verwerking.

In tegenstelling tot de meeste andere processorfabrikanten integreert Apple de modem niet in de toepassingsprocessors en gebruikt in plaats daarvan stand-alone Qualcomm- of Intel-modems. Er is enige controverse over de vraag of Apple alleen de functies ondersteunt in zijn Qualcomm-modems die ook door Intel worden ondersteund; in de praktijk betekent dit dat iPhones 3-weg carrier-aggregatie ondersteunen, maar niet enkele van de meer geavanceerde functies.

Huawei

Huawei was ook vroeg in de AI-push en noemde haar Kirin 970, die het afgelopen najaar op de IFA-show aankondigde, '' s werelds eerste mobiele AI-verwerkingseenheid '. De Kirin 970 wordt momenteel gebruikt in de Huawei Mate 10. Het bevat vier Cortex-A73 CPU-kernen met een snelheid tot 2, 4 GHz en vier A53's met een snelheid tot 1, 8 GHz, samen met ARM's Mali G72 MP12 GPU.

Wat met name nieuw is in de 970, is wat Huawei zijn NPU of neurale verwerkingseenheid noemt. Het bedrijf heeft gezegd dat de taken die naar deze processor kunnen worden verplaatst, 25 keer de prestaties en 50 keer de efficiëntie kunnen zien vergeleken met taken die op het CPU-cluster worden uitgevoerd. Dit is met name gericht op snellere beeldherkenning en betere fotografie. Tijdens de show zei Huawei dat de telefoon 1, 92 16-bits TeraFLOP's kan verwerken.

De Kirin 970 heeft een dual-image signaalprocessor, een categorie 18 LTE-modem met 5-carrier-aggregatie en 4-bij-4 MIMO die een maximale downloadsnelheid van 1, 2 Gbps mogelijk moet maken.

Tijdens het Mobile World Congress heeft Huawei zijn eerste 5G-modem aangekondigd, de Balong 5G01, waarvan wordt gezegd dat dit de eerste 5G-modem is die wordt verzonden. Het lijkt waarschijnlijk dat een toekomstige applicatieprocessor deze modem ook zal gebruiken, maar dat is nog niet aangekondigd. Technisch gezien worden al deze producten gemaakt door de dochteronderneming van HiSilicon.

Qualcomm

Qualcomm's Snapdragon 845 is waarschijnlijk de kern van de meeste van de vlaggenschip Android-telefoons in de VS. Dit is een upgrade van de Snapdragon 835, die werd gebruikt in de meeste premium Android-telefoons van 2017, en wordt al gebruikt in de Noord-Amerikaanse versies van de Galaxy S9.

Net als bij de meeste andere leveranciers, pusht Qualcomm neurale netwerken en AI als een van de grootste verbeterpunten in de chip van dit jaar, samen met een verhoogde focus op 'onderdompeling' - wat in wezen betere beeldvorming betekent.

Op het gebied van AI praat Qualcomm graag over een multi-core Neural Processing Engine (NPE), die een nieuwe versie van zijn Hexagon DSP gebruikt, evenals de CPU en GPU voor inferentie.

De chip heeft de Hexagon 685 DSP, die volgens Qualcomm de verwerkingsprestaties van AI meer dan kan verdubbelen; een Kryo 385 CPU, die volgens hem een ​​prestatieverhoging van 25 tot 30 procent biedt voor zijn prestatiekernen (vier ARM Cortex-A75-kernen met een snelheid tot 2, 85 GHz), en tot 15 procent prestatieverbetering voor zijn "efficiëntiekernen (vier Cortex-A55-kernen met een snelheid tot 1, 8 GHz), die allemaal een 2MB L3-cache delen; en een Adreno 630 GPU, waarvan Qualcomm zegt dat deze een prestatieverbetering van 30 procent of een vermogensreductie van 30 procent ondersteunt, en tot 2, 5 keer snellere weergave.

Op het gebied van AI ondersteunt de chip een groot aantal verschillende machine learning-frameworks en het bedrijf zegt dat dit werkt voor dingen zoals objectclassificatie, gezichtsdetectie, scènesegmentatie, luidsprekerherkenning, enz. Twee gemarkeerde toepassingen zijn live bokeh-effecten (voor het maken van portretten met een wazige achtergrond) en actieve dieptewaarneming en gestructureerd licht, wat verbeterde gezichtsherkenning mogelijk moet maken. Door het verplaatsen van inferenties vanuit de cloud naar het apparaat, zegt Qualcomm dat u de voordelen krijgt van lage latentie, privacy en verbeterde betrouwbaarheid.

Op het gebied van imaging heeft de chip een nieuwe versie van Qualcomm's Spectra ISP, verbeterde Ultra HD video-opname met multi-frame ruisonderdrukking, de mogelijkheid om 16-megapixel video op te nemen met 60 frames per seconde en 720p slow-mo video op 480 beelden per seconde. Voor VR ondersteunt de 845 schermen met een resolutie van 2K bij 2K bij 120 frames per seconde, een grote stap voorwaarts ten opzichte van 1, 5K bij 1, 5K met 60 frames per seconde ondersteund door de 835.

Andere kenmerken zijn een beveiligde verwerkingseenheid, die zijn eigen kern gebruikt om beveiligingsinformatie buiten de kernel op te slaan, en werkt met de CPU en de TrustZone-mogelijkheden van Qualcomm.

De 845 integreert de X20-modem die Qualcomm vorig jaar introduceerde en die LTE Categorie 18 ondersteunt (met snelheden tot 1, 2 Gbps), tot 5 carrier-aggregatie en 4X4 MIMO, en maakt gebruik van technieken zoals Licensed-Assisted Access om sneller te maken snelheden mogelijk in meer gebieden.

De chip is vervaardigd volgens het 10nm low-power proces van Samsung.

Qualcomm maakt ook de Snapdragon 600-familie van toepassingsprocessors, geleid door de 660, die wordt gebruikt door vele Chinese leveranciers, waaronder Oppo en Vivo. In de aanloop naar het Mobile World Congress introduceerde het de Snapdragon 700-familie, die veel van dezelfde functies heeft als de 800-familie, waaronder de Hexagon DSP, Spectra ISP, Adreno graphics en Kryo CPU. In vergelijking met de 660 zegt Qualcomm dat het een 2x verbetering zal bieden in AI-toepassingen op het apparaat en een 30 procent verbetering in energie-efficiëntie.

Samsung

Hoewel het Qualcomm-processors gebruikt in de meeste van zijn Noord-Amerikaanse telefoons, gebruikt Samsung in veel andere markten zijn eigen Exynos-processors en begint dergelijke processors beschikbaar te maken voor andere telefoonfabrikanten.

De nieuwe topklasse is de Exynos 9810, die Samsung zal gebruiken in internationale versies van de Galaxy S9 en S9 +.

Nogmaals, Samsung pusht nieuwe functies voor 'deep learning-gebaseerde software', waarvan wordt gezegd dat het de processor helpt om items of personen in de telefoons nauwkeurig te identificeren, en ondersteunt diepte-gevoel voor gezichtsherkenning.

De 9810 is ook een octa-core chip, met vier A55-kernen voor energie-efficiëntie en vier aangepaste CPU-ontwerpen voor prestaties. Samsung zegt dat deze nieuwe cores, die kunnen draaien tot 2, 9 GHz, een bredere pijplijn en geoptimaliseerd cachegeheugen hebben, waardoor ze twee keer de single-core prestaties en 40 procent meer multi-core prestaties hebben in vergelijking met zijn voorganger, de 8895 van vorig jaar. (Gepubliceerde benchmarks tonen verbeteringen in de echte wereld, maar niet zoveel als beweerd; ik blijf op dit moment sceptisch over alle mobiele benchmarks.)

Andere functies zijn onder meer Mali-G72 MP18-grafische kaart, ondersteuning voor maximaal 3840 x 2400 beeldschermen en 4096 x 2160 beeldschermen, een dubbele beeldsignaalprocessor (ISP) en ondersteuning voor 4K-opname met 120 beelden per seconde. De 9810 heeft ook een categorie 18-modem met 6 carrier-aggregatie en 4-bij-4 MIMO voor downlink (2 CA voor uplink), met een maximale 1, 2 Gbps downlink-snelheid en 200 Mbs uploads. Op papier komt dit overeen met de Categorie 18-modems die zowel Qualcomm als Huawei in hun huidige topchips hebben. Net als de Snapdragon 845, is deze vervaardigd volgens het tweede generatie 10nm FinFET-proces van Samsung.

MediaTek

MediaTek is meer een speler in mid-range telefoons en lager, en vorige maand introduceerde een nieuwe chip genaamd de Helio P60 gericht op de "New Premium" -markt - mid-market telefoon in de $ 200 - $ 400 reeks die alle van de basisfuncties van de geavanceerde telefoons. De eerste aangekondigde telefoon die deze chip zal gebruiken, is de Oppo R15.

De topprocessor van het bedrijf, die vorig jaar werd aangekondigd, is de Helio X30, een deca-core processor gericht op premium telefoons. Dit omvat twee ARM Cortex-A73 CPU-kernen met een snelheid tot 2, 5 GHz, vier Cortex-A53-kernen met een snelheid tot 2, 2 GHz en vier A35-kernen met een snelheid tot 1, 9 GHz, samen met Imagination's PowerVR Series 7XT Plus grafische kaart op 800 GHz en een LTE-modem van categorie 10, geschikt voor 3-carrier-aggregatie op de downlink. Het is een interessante chip, geproduceerd volgens het 10 nm-proces van TSMC, en geeft het idee dat meer cores flexibeler kunnen zijn. Onder de aangekondigde telefoons die dit gebruiken, zijn de Meizu Pro 7 Plus met dubbele schermen en de Vernee Apollo 2 (8MP camera aan de voorkant, 16MP + 13MP camera aan de achterzijde).

Vorig jaar kondigde MediaTek twee mid-market processors aan, de Helio P23 en P30, specifiek gericht op wereldwijde markten en China, elk met acht Cortex-A53 cores op 2, 53 GHz en Mali G71 MP2 grafische kaart. Dit zijn de chips die de P60 is ontworpen om te vervangen, en meer kracht te bieden en een reeks nieuwe functies mogelijk te maken.

De P60 biedt meer prestaties en is een terugkeer naar de big.LITTLE-configuratie ARM en MediaTek die in voorgaande jaren zijn gepusht, waarbij vier van de krachtigere ARM Cortex-A73 op maximaal 2, 0 GHz werden gecombineerd met vier van de efficiëntere Cortex-A53 kernen, ook op 2, 0 GHz. Deze worden vergezeld door een ARM Mali G72 NMP3 GPU tot 800 MHz en worden allemaal aangestuurd door de vierde versie van MediaTeks CorePilot-technologie voor het plannen waar taken worden uitgevoerd. In vergelijking met de P23 en P30 zegt MediaTek dat de P60 een prestatieverbetering van 70 procent biedt in zowel CPU- als GPU-bewerkingen.

MediaTek neemt ook deel aan de AI-bandwagon, met de P60 inclusief zijn NeuroPilot-platform voor hardwareversnelling van het neurale netwerk. Dit ondersteunt Google Android Neural Network (NN) en de algemene AI-frameworks, waaronder TensorFlow, TensorFlow Lite, Caffe en Caffe 2. Dit is in feite een gespecialiseerde digitale signaalprocessor die in staat is tot 280 GMAC's (miljarden multiply-accumulerende bewerkingen per seconde). Het is ontworpen om te worden gebruikt voor dingen als gezichtsherkenning voor het ontgrendelen van een telefoon (iets dat we tot nu toe hebben gezien in high-end telefoons maar niet in telefoons uit het middenbereik), en objectherkenning, zelfs in video's, met 60 frames per seconde.

Bovendien heeft de P60 een aantal nieuwe beeldfuncties, waaronder drie beeldsensorprocessors die een configuratie met twee camera's van sensoren van 16 en 20 MP of een camera van maximaal 32 MP kunnen ondersteunen. (Ik heb nog geen telefoon in productie gezien met een camerasensor met zoveel megapixels, maar ze komen vermoedelijk.) Deze sensoren voegen ruisonderdrukkingsfuncties toe, samen met real-time bokeh (het vervagen van de achtergrond die wordt gebruikt in portretmodi).

De chip bevat een modem die Categorie 7-downloads ondersteunt (tot 300 Mbps) en Categorie 13-uploads (tot 150 Mbps met 2 carrier-aggregatie). Het is vervaardigd volgens het 12nm FinFet-proces van TSMC, waarvan het bedrijf zegt dat het 25 procent energiebesparing oplevert voor energie-intensieve toepassingen zoals games, en 12 procent energiebesparing in het algemeen.

Spreadtrum

Spreadtrum, dat modems maakt die voornamelijk op de Chinese markt worden verkocht, kondigde een samenwerking aan met Intel dat gebruik maakt van Intel's 5G-modem en ARM-compatibele CPU's. Dit is nog een paar jaar weg, dus details zijn nog niet beschikbaar.

Merk op dat Spreadtrum niet erg zichtbaar is in de VS, maar alleen Qualcomm en MediaTek volgt in de handelsmarkt voor toepassingsprocessors. Het verkoopt meestal producten met ARM-CPU's en een eigen 4G-modem, maar heeft een deal met Intel en is een minderheidsbelang. Dit heeft geresulteerd in een chip met Intel CPU's en de modem van Spreadtrum (het tegenovergestelde van de nieuwe aankondiging).

ARM

Natuurlijk zijn het niet alleen de chipmakers die AI als de volgende grote golf zien, en de bedrijven die de IP maken, hebben ook een grote duw in dit gebied gezet.

ARM, de meest succesvolle van de IP-makers, kondigde vorige maand een pakket van IP voor machine learning aan, inclusief hardware en software, en drukte dit op Mobile World Congress.

Nagesynchroniseerd Project Trillium, dit omvat processorontwerpen (IP) voor zowel Machine Learning (ML) als Object Detection (OD), samen met een nieuwe softwarebibliotheek.

De ML-processor is ontworpen om in een applicatieprocessor te zitten en naast de CPU, GPU en display-core te draaien. De softwarebibliotheek, die bekend staat als ARM NN (neuraal netwerk), is ontworpen om frameworks zoals TensorFlow, Caffe en Android NN te ondersteunen. Hierdoor kunnen deze applicaties alleen software uitvoeren op bestaande processors die ARM CPU's en grafische kaarten hebben; hoewel het natuurlijk aanzienlijk zal worden versneld wanneer het wordt uitgevoerd op processors die de ML-kernen bevatten. Software van derden werkt ook op de processorkern. ARM zegt dat de ML-kern speciaal is ontworpen om neurale netwerken te runnen. Het kan zowel 8- als 16-bit-applicaties draaien, hoewel de trend is om zich op eenvoud te concentreren op 8-bit.

De OD-processor is ontworpen om naast een beeldsignaalprocessor (ISP) te zitten, om objectdetectie met laag vermogen te bieden, specifiek voor toepassingen zoals gezichtsdetectie en volgbeweging. Dit is een speciaal hardwareblok dat is ontworpen om te worden gebruikt met nieuwe sensortechnologieën zoals stereoscopische camera's.

ARM zei dat het nieuwe IP beschikbaar zou zijn voor preview van de ontwikkelaar in april en algemeen later dit jaar beschikbaar zou zijn, maar gezien een typische tijdcyclus is het onwaarschijnlijk dat de nieuwe processorkernen in chips zouden verschijnen tot 2019 of later. Natuurlijk zou de software, die op bestaande cores werkt, veel sneller kunnen worden ingezet.

ARM heeft ook enkele nieuwe oplossingen voor het Internet of Things gepusht, waaronder een nieuwe SIM-oplossing genaamd Kigen, ontworpen om in SoC's te worden gebouwd voor apparaten met een laag vermogen ter vervanging van de fysieke SIM-kaarten van vandaag.

Verbeeldingstechnologieën

Verbeelding, bekend om zijn PowerVR-graphics, kondigde afgelopen najaar zijn neurale netwerk-IP aan, de PowerVR 2NX Neural Network Acceleration (NNA). Dit is een flexibele architectuur met één tot acht cores, die elk 256 8-bit multiplay-accumulate units (MAC's) kunnen hebben. De verbeelding heeft gezegd dat het meer dan 3, 2 biljoen operaties per seconde kan uitvoeren.

Ceva

Andere IP-leveranciers komen ook op de markt. Ceva, bekend om zijn DSP-cores, heeft zojuist NeuPro aangekondigd, een familie van AI-processorcores die zijn ontworpen voor edge-apparaten. Deze bouwen voort op processors die het bedrijf heeft verkocht op het gebied van computervisie en gebruiken het CDNN-framework voor verschillende 'AI-processen'. Dit werkt met de algemene frameworks voor machine learning en converteert deze naar mobiele processors voor inferentie. Het bedrijf plant processors van 2 tot 12, 5 teraops per seconde (TOPS) ontworpen voor consumenten-, bewakings- en ADAS-producten (voor autonome voertuigen). Ceva heeft gezegd dat een grote automobielklant van plan is om 100 TOPS aan prestaties mogelijk te maken met minder dan 10 watt vermogen. Licentieverlening begint in de tweede helft van dit jaar.

Ceva kondigde ook zijn PentaG-platform van DSP's voor 5G-basisbandmodems aan. Het bedrijf zegt dat zijn huidige DSP's zich in 40 procent van de handsets ter wereld bevinden, met ongeveer 900 miljoen telefoons per jaar, en in modems van Intel, Samsung en Spreadtrum. Het nieuwe platform heeft meer AI, vooral gebruikt voor "link aanpassing". In de 5G-wereld kunnen handsets meerdere koppelingen naar een basisstation hebben en Ceva zegt dat de hardware en software om de paar milliseconden helpen de beste koppeling te bepalen. Dit kan veel energie besparen vergeleken met alleen het gebruik van software. Dit is geen algemene DSP of neurale netwerkchip, maar eerder een die specifiek is ontworpen voor communicatie. Het werd zojuist aangekondigd en zou in het derde kwartaal beschikbaar moeten zijn.

Ceva doet ook een grote duw voor DSP's in de 5G-basisstationmarkt en heeft gezegd dat maar liefst 50 procent van de 5G nieuwe radio-infrastructuur de DSP IP van het bedrijf zal gebruiken, inclusief systemen van Nokia en ZTE.

Hoe waarschijnlijk is het dat u PCMag.com aanbeveelt?