Wanneer de cloud wordt overspoeld, is het edge computing, te hulp

Langs de kustlijn van de staat New South Wales (NSW) in Australië zweeft een vloot drones, waardoor de wateren veilig blijven. Eerder dit jaar hielpen de drones strandwachten aan de Far North Coast van de staat om twee tieners te redden die het moeilijk hadden met surfen.

De drones worden aangedreven door kunstmatige intelligentie (AI) en machine-vision-algoritmen die hun videofeeds voortdurend analyseren en items markeren die aandacht behoeven: bijvoorbeeld haaien of verdwaalde zwemmers. Dit is hetzelfde soort technologie waarmee Google Foto's afbeeldingen kan sorteren, een beveiligingscamera voor thuis om vreemden te detecteren en een slimme koelkast om u te waarschuwen wanneer uw bederfelijke waren bijna hun vervaldatum naderen.

Maar terwijl die services en apparaten een constante verbinding met de cloud nodig hebben voor hun AI-functies, kunnen de NSW-drones hun beelddetectietaken uitvoeren met of zonder een solide internetverbinding, dankzij neurale rekenchips waarmee ze lokaal diepgaande berekeningen kunnen uitvoeren.

Deze chips maken deel uit van een groeiende trend van innovaties op het gebied van edge-computing waarmee onze softwareapparaten ten minste enkele kritieke functies kunnen uitvoeren zonder een constante koppeling met de cloud. De opkomst van edge computing helpt bij het oplossen van nieuwe en oude problemen en maakt de weg vrij voor de volgende generatie slimme apparaten.

De cloud ontzorgen

In de afgelopen twee decennia is de cloud de goede manier geworden om applicaties te hosten, met goede reden.

"Wat de cloud zo aantrekkelijk maakt, is dat deze de kosten van het opstarten van elke activiteit die u wilt uitvoeren, verlaagt", zegt Rob High, CTO van IBM Watson. "De cloud… stelt mensen in staat om… vandaag echte problemen op te lossen zonder de kosten van infrastructuuropbouw te hoeven doorlopen."

Met alomtegenwoordige internetconnectiviteit en bijna ontelbare cloudapplicaties, services en ontwikkelingsplatforms zijn de barrières voor het maken en implementeren van applicaties aanzienlijk verminderd. De enorme bronnen van cloudproviders zoals IBM, Google en Amazon hebben de ontwikkeling gestimuleerd, niet alleen van triviale zakelijke applicaties, maar ook van complexe software die enorme hoeveelheden berekening en opslag vereist - AI en machine-learning algoritmen evenals streaming en AR (augmented reality) applicaties.

Maar deze ontwikkelingen hebben ook een uitdaging gecreëerd: de meeste applicaties die we gebruiken kunnen niet functioneren, tenzij ze zijn verbonden met de cloud. Dit omvat de meeste toepassingen die op computers en telefoons worden uitgevoerd, evenals de software in koelkasten, thermostaten, deursloten, bewakingscamera's, auto's, drones, weersensoren, enzovoort.

Met de komst van Internet of Things (IoT) draait een toenemend aantal apparaten op software en genereren ze gegevens. Voor de meeste apparaten is een koppeling met de cloud vereist om die gegevens op te slaan en te verwerken. De hoeveelheid kracht en bandbreedte die nodig is om die gegevens naar de cloud te verzenden, is enorm en de ruimte die nodig is om de gegevens op te slaan, zal de middelen van zelfs de krachtigste cloud-kolossen uitdagen.

"Er zijn veel gegevens die we in deze systemen verzamelen, of het nu aan de rand is, of het is een IoT-apparaat, of een andere plaats, waar je bijna zou kunnen beslissen om er niet om te geven", zegt High. Maar als elke beslissing in de cloud moet worden genomen, moeten al die gegevens via het netwerk naar cloudservers worden verzonden om te worden geschrobd en gefilterd.

High noemt bijvoorbeeld moderne vliegtuigen, die honderden sensoren bevatten die straalmotoren bewaken en tijdens elke vlucht honderden gigabytes aan status- en prestatiegegevens verzamelen. "Hoeveel van die gegevens doet er echt toe als u het over een geaggregeerd wilt analyseren? Waarschijnlijk slechts een fractie ervan", zegt High. "Waarom er niet gewoon vanaf komen bij de bron als het niet nodig is voor iets anders wat je doet?"

Doen wat High suggereert buiten de cloud was voorheen vrijwel onmogelijk, maar de vooruitgang in low-power, low-cost System-on-Chip (SoC) -processors heeft edge-apparaten meer rekenkracht gegeven en laat ze een deel van de rekenlast van hun ecosystemen, zoals het uitvoeren van realtime analyses of het filteren van gegevens.

"Er is zoveel data in de edge-omgeving, het is logisch om een ​​deel van de cloud computing-mogelijkheden in de rekencapaciteit van het edge-apparaat te brengen, " zegt High.

Privacybezorgdheden

De voordelen van Edge computing zijn niet beperkt tot het vrijmaken van cloudbronnen.

Remi El-Ouazzane, New Technology Group en General Manager bij Movidius (Intel), noemt commerciële beveiligingscamera's als een ander voorbeeld van wanneer edge computing een enorm verschil kan maken. Je ziet deze camera's bij verkeerslichten, op luchthavens en bij de ingang van gebouwen, 24 uur per dag opnemen en streamen van hoogwaardige video via het netwerk.

"Hoe minder data je nodig hebt om terug te slepen naar een server of datacenter, hoe meer scrubben en finessing je lokaal kunt doen, hoe beter je totale eigendomskosten zullen zijn vanuit een opslag- en overdrachtsperspectief, " zegt El-Ouazzane.

Dit betekent dat camera's de mogelijkheid krijgen om hun eigen videofeeds te analyseren, te bepalen welke frames of lengtes video aandacht vereisen en alleen die gegevens naar de server sturen.

Wanneer die camera's bij u thuis, op kantoor of op een privélocatie worden geïnstalleerd, wordt de verbinding met de cloud ook een potentieel beveiligingsprobleem. Hackers en beveiligingsonderzoekers hebben de verbinding tussen huishoudelijke apparaten en hun cloudservers kunnen compromitteren om gevoelige videofeeds te onderscheppen. Door de gegevens lokaal te parseren, is het niet langer nodig om een ​​videobuis te hebben tussen uw huis, uw privéleven en een serviceprovider.

Movidius, dat in 2016 werd overgenomen door Intel, is een van de verschillende startups die computerchips maken die gespecialiseerd zijn in AI-taken zoals spraakherkenning en computer vision. Het bedrijf produceert Vision Processing Units (VPU's) - krachtige processors die neurale netwerken draaien die de context van digitale afbeeldingen analyseren en "begrijpen" zonder ze terug te hoeven sturen naar de cloud.

De Movidius Myriad 2 is een altijd actieve vision-processor die is gemaakt voor omgevingen met beperkte energie.

"Wanneer de camera de semantiek begrijpt van waar hij naar kijkt, wordt het vermogen om regels op te leggen wat de camera wel of niet kan doen een zeer gemakkelijke taak", zegt El-Ouazzane. "Je hoeft je woonkamer de komende 12 uur niet echt vast te leggen, alleen om te weten dat je hond op een gegeven moment het tapijt voor de bank kruiste."

Andere bedrijven onderzoeken het gebruik van gespecialiseerde AI-aangedreven edge computing om de privacy van gebruikers te behouden. De Apple iPhone X wordt bijvoorbeeld aangedreven door de A11 Bionic-chip, die AI-taken lokaal kan uitvoeren, waardoor het gecompliceerde gezichtsherkenning kan uitvoeren zonder de mugshot van de gebruiker naar de cloud te sturen.

Meer geavanceerde AI-verwerking kan de weg effenen voor gedecentraliseerde kunstmatige intelligentie, waarbij gebruikers minder gegevens met grote bedrijven moeten delen om AI-toepassingen te gebruiken.

Latentie verminderen

Een ander probleem met grote cloudproviders is dat hun datacenters zich buiten grote steden bevinden, waardoor ze honderden en duizenden kilometers verwijderd zijn van de mensen en apparaten die hun applicaties gebruiken.

In veel gevallen kan de latentie die wordt veroorzaakt door gegevens die van en naar de cloud reizen, slechte prestaties of erger fatale resultaten opleveren. Dit kan een drone zijn die botsingen probeert te vermijden of op oneffen terrein landt, of een zelfrijdende auto die probeert te beslissen of hij tegen een obstakel of een voetganger aanloopt.

De lichtgewicht implementatie van Movidius van diepe neurale netwerken en computer vision maakt zijn chips geschikt voor mobiele edge-apparaten zoals drones, waarvoor energieverbruikende hardware zoals GPU's niet haalbaar zijn. Drones zijn een bijzonder interessante studie, omdat ze toegang met lage latentie tot AI-berekening nodig hebben en moeten blijven functioneren in offline instellingen.

Gebaarherkenning als een ander gebied waar edge computing helpt de drone-ervaring te verbeteren. "Het doel is om drones toegankelijk te maken voor veel mensen, en gebaar lijkt een leuke manier voor mensen om ze te gebruiken. Latency is belangrijk wanneer je de drone gebaart om een ​​bepaalde taak uit te voeren, " zegt El-Ouazzane.

Voor startups zoals Skylift Global, die zwaargewicht drone-services biedt aan reddingswerkers en first-responders, kan low-latency toegang tot AI en computerhulpbronnen geld en levens besparen. "Het zal de kosten van gegevensopname aanzienlijk verminderen, de netwerklatentie verminderen, de beveiliging verhogen en helpen bij het omzetten van gegevens in realtime beslissingen", zegt Amir Emadi, de CEO en oprichter van Skylift.

Leveringen leveren aan first responders vereist beslissingen van een fractie van een seconde. "Hoe meer tijd verstrijkt, bijvoorbeeld bij het bestrijden van een natuurbrand, hoe duurder het wordt om de situatie te verhelpen. Naarmate onze drones real-time beslissingen kunnen nemen aan de rand, zelfs wanneer ze de connectiviteit verliezen, kunnen we meer besparen levens, geld en tijd ', zegt Emadi.

Andere domeinen die bijna-realtime berekeningen nodig hebben, zijn augmented- en virtual reality-toepassingen en autonome voertuigen. "Dit zijn allemaal ervaringsgebaseerde computeromgevingen. Ze zullen gebeuren rondom de mensen", zegt Zachary Smith, CEO van Packet, een in New York gevestigde startup die ontwikkelaars toegang geeft tot sterk gedistribueerde hardware.

Een AR- of VR-toepassing die de bewegingen van de gebruiker niet kan bijhouden, kan duizeligheid veroorzaken of voorkomen dat de ervaring meeslepend en echt wordt. En latentie zal een nog groter probleem vormen wanneer zelfrijdende auto's, die sterk afhankelijk zijn van computer vision en algoritmen voor machine learning, mainstream worden.

"Een latentie van 30 milliseconden maakt niet uit voor het laden van uw webpagina, maar het is echt belangrijk voor een auto om op 60 km / u te bepalen of deze naar links of rechts moet draaien om te voorkomen dat u tegen een klein meisje botst", zegt Smith.

De uitdagingen van de Edge aangaan

Ondanks de noodzaak om computing dichter bij de rand te brengen, is gespecialiseerde hardware in elk apparaat misschien niet het definitieve antwoord, erkent Smith. "Waarom zet je niet gewoon alle computers in de auto? Ik denk dat het echt te maken heeft met de evolutie van hoe snel je daar de levenscyclus van kunt regelen", zegt hij.

"Als je hardware in de wereld brengt, blijft deze er meestal vijf tot tien jaar", zegt Smith, terwijl de technologie die deze op ervaring gebaseerde gebruiksscenario's aandrijft zich elke zes tot twaalf maanden ontwikkelt.

Zelfs zeer grote bedrijven met gecompliceerde supply chains hebben vaak moeite met het updaten van hun hardware. In 2015 moest Fiat Chrysler 1, 4 miljoen voertuigen terugroepen om een ​​beveiligingslek op te lossen dat vijf jaar eerder aan het licht was gekomen. En gigantische chipmaker Intel is nog steeds bezig om een ​​ontwerpfout aan te pakken die honderden miljoenen apparaten blootstelt aan hackers.

El Ououane van Movidius erkent deze uitdagingen. "We weten dat we elk jaar een reeks producten moeten veranderen, omdat we elk jaar meer intelligentie aan de rand zullen brengen, en we zullen onze klanten vragen om te upgraden", zegt hij.

Om constante terugroepacties te voorkomen en klanten langdurig gebruik te laten maken van hun geavanceerde hardware, verpakt Movidius zijn processors met extra middelen en capaciteit. "We moeten de komende jaren de mogelijkheid hebben om upgrades op die producten uit te voeren", zegt El-Ouazzane.

Packet, het bedrijf van Smith, hanteert een andere aanpak: het creëert microdatacenters die in steden, dichter bij gebruikers, kunnen worden ingezet. Het bedrijf kan ontwikkelaars dan voorzien van rekenbronnen met een zeer lage latentie - zo dicht mogelijk bij gebruikers zonder dat echte hardware aan de rand wordt gezet.

"Wij zijn van mening dat er behoefte zal zijn aan een infrastructuurbezorgingsmechanisme om hardware te plaatsen die toegankelijk is voor ontwikkelaars in elke stad ter wereld, " zegt Smith. Het bedrijf is al op 15 locaties actief en is van plan om uiteindelijk uit te breiden naar honderden steden.

Maar de ambities van Packet gaan verder dan het creëren van miniatuurversies van de uitgestrekte faciliteiten die worden beheerd door Google en Amazon. Zoals Smith uitlegt, is het implementeren en bijwerken van gespecialiseerde hardware niet haalbaar met de openbare cloud. In het bedrijfsmodel van Packet implementeren fabrikanten en ontwikkelaars gespecialiseerde hardware in de geavanceerde datacenters van het bedrijf, waar ze deze snel kunnen bijwerken en vernieuwen wanneer de behoefte zich voordoet, terwijl ze er ook voor zorgen dat hun gebruikers supersnelle toegang krijgen tot computerbronnen.

Hatch, een klant van Packet, is een spin-off van Rovio, het mobiele gamingbedrijf dat Angry Birds heeft gecreëerd. Het bedrijf gebruikt Android op edge-computing servers om streamingdiensten met meerdere spelers voor gaming met lage latentie te bieden aan gebruikers met low-end Android-apparaten.

"heeft redelijk gespecialiseerde ARM-servers nodig in al deze markten over de hele wereld", zegt Smith. "Ze hebben aangepaste configuraties van ons serveraanbod, en we brengen het op acht wereldwijde markten in heel Europa, en binnenkort zullen het 20 of 25 markten zijn. Het voelt voor hen als Amazon, maar ze kunnen aangepaste hardware op elke markt in Europa uitvoeren."

Theoretisch zou Hatch hetzelfde kunnen doen in de publieke cloud, maar de kosten zouden het een inefficiënte onderneming maken. "Het verschil is tussen het plaatsen van 100 gebruikers per CPU versus het plaatsen van 10.000 gebruikers per CPU, " zegt Smith.

Smith gelooft dat dit model aantrekkelijk zal zijn voor de ontwikkelaarsgeneratie die de volgende software-innovaties zal aandrijven. "Waar we ons op richten is hoe we de softwaregeneratie, mensen die in de cloud zijn opgegroeid, kunnen verbinden met gespecialiseerde hardware-primitieven, " zegt Smith. "We hebben het over gebruikers die niet eens hun MacBook kunnen openen om naar binnen te kijken, en dat is de persoon die gaat innoveren op de hardware / software-stack."

Zullen de wolken verdwijnen?

Met edge-apparaten die in staat zijn om ingewikkelde computertaken uit te voeren, is de toekomst van de cloud in gevaar?

"Voor mij is edge computing een natuurlijke en logische volgende ontwikkeling van cloud computing", zegt IBM Watson's High.

In 2016 heeft IBM zelfs een aantal tools uitgerold waarmee ontwikkelaars taken naadloos tussen de edge en de cloud kunnen verdelen, vooral in IoT-ecosystemen, waar edge-apparaten al veel gegevens over hun directe omgeving verzamelen. En eind 2016 kondigde Amazon Web Services, een ander belangrijk platform voor cloudontwikkeling, Greengrass aan, een service waarmee IoT-ontwikkelaars delen van hun cloudapplicaties op hun randapparatuur kunnen uitvoeren.

Niets van dit alles betekent dat de wolk verdwijnt. "Er zijn gewoon veel dingen die beter in de cloud gedaan kunnen worden, zelfs als er nog veel werk aan de rand wordt gedaan", zegt High. Dit omvat taken zoals het verzamelen van gegevens uit veel verschillende bronnen en het uitvoeren van grootschalige analyses met enorme gegevenssets.

"Als we modellen moeten maken in de AI-algoritmen die we in deze edge-apparaten gebruiken, is het maken en trainen van deze modellen nog steeds een zeer enorm rekenintensief probleem en vereist vaak rekencapaciteit die veel hoger is dan wat beschikbaar is op deze edge-apparaten, " High zegt.

El-Ouzzane is het daarmee eens. "De mogelijkheid om AI-modellen lokaal te trainen is uiterst beperkt", zegt hij. "Vanuit een diep leerstandpunt heeft de training maar één plek om te zitten, en het is in de cloud, waar je voldoende rekenbronnen en voldoende opslagruimte hebt om met grote datasets om te kunnen gaan."

El-Ouazzane gebruikt ook voorzieningen waarin edge-apparaten worden toegewezen met missie- en tijdkritieke taken, terwijl de cloud zorgt voor de meer geavanceerde inferencing die niet latentieafhankelijk is. "We leven in een wereld van continuïteit tussen de wolk en de rand."

"Er is een zeer symbiotische en synergetische relatie tussen edge computing en cloud computing", zegt High.