Video: What's inside a Facebook Datacenter Open Compute Rack? (November 2024)
Misschien wel de meest interessante trend in computerhardware vandaag is het Open Compute Project, en de inspanningen die het levert om over te stappen op gemeenschappelijke, efficiënte standaarden voor datacenterapparatuur, in plaats van de eigen hardware en software die we vandaag hebben. Toen we voor het eerst hoorden over Open Compute, leek het een goede manier voor grootschalige webbedrijven om energie-efficiëntere, gemakkelijker te onderhouden servers te ontwerpen. Maar sindsdien is Open Compute uitgegroeid tot vele andere vormen van hardware - van opslag tot netwerken - en wordt het toepasbaar op enterprise computing, niet alleen op cloudsoftwarebedrijven.
Dit alles was vrij duidelijk op de Open Compute Project Summit van vorige week, waar verschillende bedrijven nieuwe hardware introduceerden die was ontworpen om te werken met de Open Compute hardware en specificaties, van servers tot netwerken.
"In 2011 hebben we een paar zaden geplant, " zei Frank Frankovsky van Facebook, voorzitter van de OCP Foundation, bij het openen van de top. "Wat zou er gebeuren als we open source-principes zouden toepassen op de hardwareruimte? Het werk dat we samen doen, transformeert de industrie fundamenteel."
Nieuwe chips en specificaties Push ARM-gebaseerde servers
Sommige dingen die tijdens de week werden aangekondigd, viel op. De grote meerderheid van servers, in de echte wereld en in het Open Compute Project, zijn gebaseerd op Intel's Xeon-processors en de x86-architectuur. Hoewel dat waarschijnlijk niet snel zal veranderen, hadden concurrenten zoals ARM en AMD een aantal interessante alternatieven.
AMD kondigde zijn eerste 64-bit ARM-gebaseerde server CPU aan, de 28nm Opteron A1100-serie (codenaam Seattle), waarvan Andrew Feldman, algemeen directeur en vice-president van het bedrijf, zei dat hij klanten "binnen enkele weken" zal bemonsteren, hoewel wordt naar verwachting niet voor het einde van het jaar breed beschikbaar. De A1100 bevat 4- of 8-core ARM Cortex-A57-processors, maximaal 4 MB gedeelde L2 en 8 MB gedeelde L3-cache, dubbele DDR3- of DDR4-geheugenkanalen met ECC, ARM TrustZone voor beveiliging en co-processors voor codering en gegevens compressie.
Feldman sprak over een A-serie ontwikkelingskit met de A1100-processor en zei dat het bedrijf nauw had samengewerkt met de Linaro Enterprise Group en softwareleveranciers om een compatibel Linux-besturingssysteem te ontwikkelen op basis van Red Hat's Fedora, geoptimaliseerde LAMP-stapel, Java-ondersteuning en andere software inclusief applicaties, hypervisors, compilers en simulatoren. Feldman hield een klein micro-serverontwerp op, gebruikmakend van de AMD Opteron A-serie en de Open Slot Projectspecificatie voor moederborden bekend als "Group Hug", en kondigde aan dat het bedrijf het bijdroeg aan het project zodat hardwarebedrijven kunnen begin met het bouwen van servers die erop gebaseerd zijn.
Hoewel Feldman zei dat AMD zich inzet voor x86 en voor ARM, suggereerde hij met klem dat de toekomst van het datacenter op ARM-gebaseerde servers was gericht. "In de geschiedenis van computers hebben kleinere, goedkopere en hogere volumes CPU's altijd gewonnen, " zei Feldman. "Hierop is geen uitzondering." Hij merkte op dat er vorig jaar 8 miljard ARM-CPU's werden verzonden vergeleken met 13 miljoen x86 server-CPU's. (Dit lijkt een dwaze vergelijking, omdat het ARM-CPU's bevat die worden gebruikt in allerlei niet-datacenter-toepassingen, maar x86's die in alles behalve servers worden gebruikt.) Feldman voorspelde dat ARM tegen 2019 een kwart van de servermarkt zal beheersen en aangepast ARM SoC's zullen de norm zijn voor grote datacenters, terwijl kleinere, efficiëntere x86-CPU's de x86-servermarkt zullen domineren.
Wat de chip betreft, zei Applied Micro dat zijn X-Gene 2 dit voorjaar zal bemonsteren met wat volgens het bedrijf de eerste ARMv8-implementatie is die is ontworpen voor servers. Feldman zei ook dat dit volgend jaar zal worden gevolgd door een X-Gene 3 met 16 of meer ARM-cores gemaakt op een FinFET-processor.
Een zorg die sommige mensen hebben gehad over op ARM gebaseerde servers is fragmentatie. Om dit tegen te gaan, kondigde Ian Drew, executive vice president business development en chief marketing officer van ARM, een nieuwe Server Base System Architecture aan. Het idee is om één basisspecificaties voor OS en firmware-ontwikkelaars te hebben en één OS-image voor alle op ARMv8-A gebaseerde servers. "Het is een hardwarespecificatie die is geschreven door hardwaremannen en softwaremensen samen, " zei Drew. Hij merkte op dat dit geen standaardisatie is waarbij iedereen monolithisch zal zijn, maar in plaats daarvan is ontworpen zodat differentiatie op het juiste moment op de juiste laag plaatsvindt.
Drew zei dat ARM ervoor wil zorgen dat iedereen er aan boord is, dus het is publiek beschikbaar op de ARM-website. Het wordt ondersteund door de OEM's en een aantal halfgeleiderpartners, waaronder AMD, Applied Micro, Broadcom en Cavium.
Microsoft sluit zich aan bij OCP
Microsoft zei dat het lid werd van OCP en een complete set specificaties leverde voor de servers die Office 365, Windows Azure en Bing voeden. Vice-president Bill Laing van het bedrijf zei dat het bedrijf innovatie in cloud-datacenters wil stimuleren. Dit oorspronkelijke ontwerp is heel anders dan het standaard 21-inch rack dat oorspronkelijk werd bijgedragen door Facebook, dat tot nu toe veel Open Compute-servers heeft gedefinieerd. In plaats daarvan is het een 12U-chassis dat past in een standaardrek met een rekenblad, opslagblad, gedeeld backplane, gedeeld vermogen en koeling en een managementknooppunt.
Laing zei dat deze ontwerpen vooraf kunnen worden geassembleerd en minimale on-site integratie kunnen hebben, omdat complete laden kunnen worden verwijderd en vervangen. In vergelijking met een traditionele enterprise-server zei hij dat dit ontwerp tot 40 procent kostenbesparingen oplevert, tot 15 procent energie-efficiëntiewinst en een verbetering van 50 procent in de implementatie- en servicetijden. Het idee is om klanten dezelfde voordelen te bieden en "cloud computing vooruit te stuwen, net zoals we enterprise datacenter computing hebben getransformeerd."
Microsoft beheert wereldwijd meer dan 200 cloudservices, bedient meer dan 1 miljard klanten en meer dan 20 miljoen bedrijven in meer dan 90 markten en heeft momenteel meer dan 1 miljoen servers in zijn datacenters, zei Laing.
Open Compute voegt netwerken toe
Een nieuw project is netwerken, dat afgelopen mei officieel werd gelanceerd. "Het is een beetje raar dat open source een ontzettend positieve impact heeft gehad op software en servers en datacenters en opslag en we hebben deze liefdevol vervaardigde eilanden van open-source technologie, maar wat deze eilanden met elkaar verbindt is nog steeds een eigen black box, " Zei Frankovsky. "Dus besloten we die zwarte doos open te breken en klanten flexibiliteit en keuze in hun netwerk en transparantie te geven. Dezelfde dingen die mensen naar open source software aantrekken, trekken ons aan naar open source hardware. Het is die natuurlijke menselijke nieuwsgierigheid naar hoe dit werk en hoe zou het anders werken als ik het uit elkaar haal en weer in elkaar zet zoals ik het weer in elkaar wil zetten?"
Binnen enkele maanden, zei hij, had de OCP bijdragen ontvangen van Broadcom, Intel, Mellanox, Big Switch en Cumulus Networks.
Hoewel een aantal bedrijven hebben gesproken over niet-gepatenteerde top-of-rack-switches, was ik geïntrigeerd om te zien dat Dell een deal kondigde met Cumulus Networks op grond waarvan het hardwarebedrijf de op Linux gebaseerde netwerksoftware van Cumulus bovenop het OCP-compatibele netwerk zou verkopen hardware.
Ander interessant hardware-nieuws tijdens de show was de aankondiging van Seagate dat het zijn Kinetic-opslagplatform bijdraagt aan OCP, waarmee toepassingen rechtstreeks via Ethernet verbinding kunnen maken met opslag in plaats van via traditionele opslagservers.
Facebook's volledige stapel infrastructuuroptimalisatie
Gezien zijn sleutelrol bij de lancering van Open Compute, is het niet verwonderlijk dat Facebook een van de leiders is in de toepassing van de meeste technologieën. Jay Parikh, vice-president infrastructuur van Facebook, gaf een presentatie over "waarom alle dingen die Facebook doet met infrastructuur er echt toe doen." In het begin concentreerde het Facebook-infrastructuurteam zich gewoon op het draaiende houden, zei Parikh. Maar terwijl het bleef groeien, bereikte het team snel de grenzen van de hardware en software. Ze hadden een paar 'spectaculaire mislukkingen', zei hij, maar tijdens het proces leerde ze één ding: op schaal worden al je problemen vergroot.
Onderweg creëerden ze een nieuw serverontwerp dat goedkoper en energiezuiniger was en het gemakkelijker maakte om servers te beheren en te repareren. Vandaag heeft Facebook een aangepast datacenter met aangepaste racks, computer- en opslagservers en netwerken.
"Na verloop van tijd moesten we de controle over elk deel van de stapel overnemen, omdat we de groei moesten bijhouden, " zei Parikh. Hij sprak over het concept van "optimalisatie van de volledige stack-infrastructuur", inclusief de software, netwerken, servers en opslag. Nu gebruikt het bedrijf alleen Open Compute Project-hardware. "We besparen eigenlijk heel veel geld, " zei hij. In de afgelopen drie jaar heeft volledige stapeloptimalisatie Facebook meer dan $ 1, 2 miljard bespaard.
Parikh gaf vervolgens een update over de koude opslag van Facebook. Hij zei dat de eerste nieuwe koelopslagfaciliteit van het bedrijf, met een capaciteit van 30 petabytes, live is gegaan en dat er binnenkort een tweede online komt, waardoor de totale opslagcapaciteit in de komende maanden op "ruim 100 petabytes" komt. Elke faciliteit is ontworpen om maximaal drie exabytes op te slaan, dus er is veel ruimte voor groei.
Voor het eerst toonde Parikh een prototype van de opslagserver van Facebook met behulp van Blu-ray-schijven (een idee waar het bedrijf het afgelopen jaar over had). De kastserver kan 10.000 Blu-ray-schijven bevatten voor in totaal 1 petabyte aan opslag en Facebook heeft plannen om de dichtheid uiteindelijk te verhogen tot 5 petabyte per rek. In vergelijking met het huidige op harde schijf gebaseerde koudeopslagsysteem, konden de Blu-ray-servers de kosten halveren en het energieverbruik met 80 procent verminderen, zei Parikh. Facebook is van plan later dit jaar een productiesysteem te testen en zou de Blu-ray-servers gebruiken voor koude opslag van zelden gebruikte gebruikersfoto's en -video's.
Open Compute en kleinere bedrijven
Een van de dingen die me het meest intrigeerde vanaf de top was de indicatie dat niet alleen cloud-schaalbedrijven zoals Facebook, Rackspace en Microsoft het concept omarmden. In plaats daarvan wees Frankovsky op grote zakelijke klanten zoals Bloomberg, Fidelity en Goldman Sachs als bezig met het implementeren van Open Compute.
Het is interessant dat er nu meer manieren zijn om standaard 19-inch rackcomponenten met een 21-inch Open Rack-container te gebruiken, en omgekeerd. Frankovsky wees er bijvoorbeeld op dat Fidelity met een Open Bridge Rack naar een standaard EIA-rack in een Open Rack kwam. Hyve Solutions nam enkele Open Compute-systeemkaarten en verpakte deze opnieuw in standaard 19-inch laden en droeg het ontwerp terug aan de basis.
Andreessen zei dat er nu een radicale mogelijkheid is om open-source software en open-source hardware op hoog volume te combineren om de kosten van systemen aanzienlijk te verlagen en cloud-gebaseerde diensten te leveren op gebieden zoals gezondheidszorg en onderwijs. Nieuwe bedrijven kunnen bijna volledig op de cloud draaien, dus bijgevolg koopt $ 500.000 nu een startup twee jaar start-en landingsbaan om een product te lanceren. Terwijl Facebook (Andreessen zit in het bestuur) nu een groot kapitaalbudget heeft, zei hij, had het in 1999 bestaan, dan zou het een kapitaalbudget vereisen dat 50 tot 100 keer groter was dan nu, misschien 100 miljard dollar per jaar uitgeven aan kapitaal apparatuur, wat onmogelijk is. De ontwikkeling van goedkopere hardware met een groter volume maakt services zoals Facebook of Google mogelijk. Als je nog 10 jaar vooruit gaat, zei hij, zullen de diensten die mogelijk zullen zijn verbazingwekkend zijn.
"Alle groei zit in de cloud, " zei Bechtolsheim, met traditionele IT-uitgaven die vlak of dalend zijn. Arista Networks ontwikkelt netwerkapparatuur die voldoet aan de behoefte van deze datacenters op cloudschaal. Hij zei dat het logisch is om netwerkhardware te standaardiseren. Tot het Open Compute Project kwam, zei Bechtolsheim, had de industrie nooit een forum voor open, op samenwerking gebaseerde hardware-innovatie. Hoewel er nog steeds een paar bedrijven hun eigen chips maken, en hij gelooft dat dit een oud model is. Het ding over netwerken is dat je een softwarestack nodig hebt die echt werkt. Hardware is eenvoudig, software is moeilijk, zei hij, en daarom heeft Arista een veel groter softwareteam.
Bechtolsheim zei dat de komst van 64-bit computing en ARM SoC's met hogere frequenties (minimaal 2 GHz) ARM levensvatbaar maakt in het datacenter. Het zal waarschijnlijk gebeuren wanneer het zinvol is, zei hij. Hij zei ook: "ter verdediging van Intel" heeft het opmerkelijk goed werk geleverd door de procestechnologie te gebruiken om energie-efficiëntere, minder dure verschillende processoren te leveren. Intel is hier een geduchte concurrent en je hebt wedstrijden nodig om innovatie gaande te houden, zei hij. Met het huidige tempo van vooruitgang, kost het datacenter dat vandaag $ 1 miljard kost, in slechts tien jaar $ 10.000. Dat zal de volgende generatie applicaties mogelijk maken.
Om Open Compute-producten breder geaccepteerd te maken, kondigde Frankovsky een ander soort technologielicenties aan die meer op GPL lijken, zodat alle afgeleide werken aan de stichting worden teruggegeven, evenals Open Compute-hardwarecertificering met behulp van nieuwe laboratoria in Taiwan en op de Universiteit van Texas in San Antonio.
