Hoe deze enorme structuur in de woestijn van Oregon Facebook blijft draaien

PRINEVILLE, Ore. - Er zijn veel manieren om ervoor te zorgen dat u snel internet hebt. Je zou kunnen verhuizen naar een Google Fiber-stad. U kunt een van onze snelste ISP's selecteren. Of je kunt je huis bouwen naast een Facebook-datacenter.

Neem bijvoorbeeld het eerste Facebook-datacenter. Geopend in Prineville, Ore., In 2011, heeft het model gestaan ​​voor elk datacenter dat de sociale media-gigant sindsdien heeft gebouwd, van Zweden tot Iowa. Het verbruikt zoveel bandbreedte dat er meerdere ISP's nodig zijn die het gebied bedienen om hun netwerken te versterken en de lokale bewoners mee te nemen voor de rit.

Je zou het Prineville-datacenter, samen met de andere faciliteiten van Facebook, kunnen beschouwen als het collectieve hart van 's werelds grootste sociale netwerk: ze ontvangen een stortvloed aan aanvragen voor foto's, statusupdates en vernieuwingen van nieuwsfeeds van de 1, 65 miljard actieve gebruikers van de site en reageer zo snel mogelijk, vergelijkbaar met een hart dat zuurstof in de bloedbaan pompt.

De Prineville-faciliteit nadert haar vijfde verjaardag en verwerkt gegevensverzoeken voor dingen waar Mark Zuckerberg waarschijnlijk geen idee van had dat Facebook zou doen toen hij het idee voor het bedrijf bedacht in zijn slaapzaal in Harvard.

Deze week kwam PCMag langs voor een rondleiding.

Prineville slaat natuurlijk nog steeds foto's en statusupdates op, maar het heeft nu ook duizenden Nvidia GPU's die het kunstmatige intelligentieonderzoek van Facebook ondersteunen, evenals 2.000 iOS- en Android-telefoons die 24 uur per dag tests uitvoeren. Dit helpt de ingenieurs van het bedrijf om de energie-efficiëntie van zijn apps, waaronder Instagram, Messenger en WhatsApp, naast Facebook te vergroten.

Facebook-gegevens zijn 'veerkrachtig, niet overbodig'

Het eerste dat opvalt aan de Prineville-faciliteit is de enorme omvang. Oprijzend uit de met bomen bezaaide hoge woestijn van centraal Oregon op drie uur rijden van Portland is geen enkel gebouw maar vier (en dat omvat niet een ander enorm datacenter dat Apple recentelijk aan de overkant heeft gebouwd, toepasselijk Connect Way genoemd). Een van de Facebook-gebouwen past binnen twee Walmarts en is ongeveer 100 voet langer dan een vliegdekschip van de Nimitz-klasse.

Binnenin bevinden zich servers die meerdere petabytes aan opslag bevatten en die ingenieurs van Facebook voortdurend upgraden door componenten te vervangen. Van de 165 mensen die fulltime in het datacenter werken, zijn er 30 per gebouw toegewezen voor het onderhoud of vervangen van voedingen, processors, geheugen en andere componenten.

Het kenmerk van bijna elk bedrijf dat op internet actief is, van Amazon tot Charles Schwab, is redundantie: meerdere servers die meerdere kopieën van gegevens opslaan. Dat is minder het geval in Prineville, waar Ken Patchett, de directeur van Facebook voor westerse gegevensoperaties, in plaats daarvan gericht is op veerkracht - ruwweg gedefinieerd als de mogelijkheid om altijd en overal ter wereld gereed te zijn bij iemand die zich aanmeldt bij Facebook.

Focus op 'veerkracht, niet redundantie', zoals Patchett stelt, is mogelijk omdat Facebook de luxe heeft om meerdere kopieën van gegevens op te slaan op andere locaties over de hele wereld, van Lulea, Zweden, tot Altoona, Iowa. Dus in plaats van twee of meer van alles, kan het zich richten op strategische apparatuuraankopen op elke locatie, zoals het hebben van een back-upstroomgenerator voor elke zes hoofdgenerators.

"Je moet fiscaal verantwoordelijk zijn als je weerbaar wilt zijn, " legde Patchett uit. Hij is een van de grondleggers van hightech datacenters in de hoge woestijn van Oregon. Voordat hij bij Facebook aankwam, hielp hij bij het opzetten van een datacenter in The Dalles, Ore. Voor Google, een van de eerste internetbedrijven die profiteerde van de goedkope waterkracht en het koele, droge weer dat het grote oostelijke deel van het negende grootste deel van Amerika kenmerkt staat.

Veel kracht is natuurlijk cruciaal voor de werking van Facebook. De temperatuur van de server wordt geregeld door een combinatie van waterkoelvloeistof en enorme ventilatoren die droge woestijnlucht (onder) aanzuigen in plaats van stroom- en geldverslindende airconditioningseenheden. Het doeltemperatuurbereik ligt tussen 60 en 82 graden Fahrenheit. Het team van Patchett is zo goed geworden in het bereiken van dat doel dat Prineville nu een energie-efficiëntieverhouding van 1, 07 heeft, wat betekent dat de koelapparatuur, verlichting en verwarmingstoestellen - alles wat geen computerapparaat is - slechts 7 procent van het totale energieverbruik van de faciliteit verbruiken.

32 iPhones in een doos

Het grootste deel van de koeling en stroom wordt gebruikt om aan de eisen van servers te voldoen, maar sommige worden omgeleid naar een relatief kleine app-testruimte met implicaties voor het verminderen van stroomverbruik, niet alleen in Prineville, maar op elke telefoon met een Facebook-app.

Het is geen geheim dat de Facebook-app moeite heeft gehad met energiebeheer. The Guardian beweerde eerder dit jaar dat de app de batterijlevensduur op iPhones met 15 procent verkort. Om de app te stroomlijnen en het batterijverbruik te verminderen, bracht het bedrijf ongeveer 2.000 iOS- en Android-telefoons naar Prineville, waar ze in dozen in groepen van 32 in dozen worden geïnstalleerd.

Elke doos heeft zijn eigen wifi-netwerk, ingesloten door geïsoleerde wanden en koperen tape, die ingenieurs op het hoofdkantoor in Silicon Valley gebruiken om een ​​reeks tests af te leveren. Ze zijn op zoek naar "regressies" in batterijgebruik en prestaties veroorzaakt door updates voor de apps Facebook, Instagram, Messenger en WhatsApp. Als ze er een vinden in de eigen code van Facebook, lossen ze het op. Als de inefficiëntie door een ontwikkelaar werd geïntroduceerd, waarschuwt hun systeem de dader automatisch via e-mail.

De dozen bevatten niet alleen de nieuwste iPhone 6s of Galaxy S7. Aan de iOS-kant bevatten ze veel modellen van iPhone 4s en later. Aan de Android-kant, wie weet? Het volstaat te zeggen dat er één man is wiens taak het is om obscure Android-apparaten te vinden en deze naar Prineville te brengen.

"We moeten overal vandaan telefoons kopen", zegt Antoine Reversat, een ingenieur die heeft geholpen bij het ontwikkelen van de testinfrastructuur en -software. Zijn uiteindelijke doel is om de capaciteit van de racks te verdubbelen tot 62 telefoons elk, en een manier te vinden om de 20-stappen handmatige procedure die nodig is om de telefoon te configureren voor het testen te verminderen tot een stap. Dat zou iedereen moeten troosten die ooit zijn telefoon heeft laten sterven terwijl hij zijn nieuwsfeed vernieuwde.

Big Sur: Facebook's AI-brein

Volgende op onze tour waren de Big Sur kunstmatige intelligentie servers, die, net als de kustlijn van Californië waarvoor ze zijn genoemd, misschien wel het meest schilderachtige deel van het datacenter vormen. We hebben het natuurlijk niet over adembenemende uitzichten op de Stille Oceaan, maar in plaats daarvan op een computerscherm dat een groep schilderijen liet zien, bemand door Ian Buck, vice-president voor versneld computergebruik van Nvidia.

"We hebben een neuraal netwerk getraind om schilderijen te herkennen, " legde Buck uit. "Na ongeveer een half uur kijken naar de schilderijen, kan het zijn eigen schilderijen genereren."

De getoonde exemplaren leken op het Franse impressionisme uit de 19e eeuw, maar met een twist. Als u een combinatie van een fruitstilleven en een rivierlandschap wilt, schildert Big Sur het voor u door zijn 40 petaflops verwerkingskracht per server te buigen. Het is een van de verschillende AI-systemen die Nvidia GPU's gebruiken - in dit geval PCI.e-gebaseerde Tesla M40-processors - om complexe problemen met machine learning op te lossen. Het DeepMind-zorgproject van Google maakt ook gebruik van Nvidia-processors.

Facebook gebruikt Big Sur om onder andere verhalen te lezen, gezichten in foto's te identificeren, vragen over scènes te beantwoorden, games te spelen en routines te leren. Het is ook een open source software die andere ontwikkelaars een blauwdruk biedt voor het opzetten van hun eigen AI-specifieke infrastructuur. De hardware bevat acht Tesla M40 GPU-kaarten van maximaal 33 watt elk. Alle componenten zijn gemakkelijk toegankelijk binnen een serverlade om het gemak van upgrades te vergroten, die zeker zullen komen als Nvidia nieuwe PCI.e-versies van zijn Tesla GPU's uitbrengt, inclusief het vlaggenschip P100.

Koude opslag voor vergeten foto's

Omdat Prineville het eerste datacenter van Facebook is, testen ingenieurs vaak ideeën om de servers van Facebook efficiënter te maken. Een van de nieuwste ideeën is koude opslag, of speciale servers die alles op Facebook opslaan dat niet veel weergaven krijgt, bijvoorbeeld je prom-foto's voor de middelbare school of die tientallen statusupdates die je hebt geplaatst toen Michael Jackson stierf in 2009.

Het geheim van koudeopslag is het succes van meerdere lagen. Het eerste niveau bestaat uit hoogwaardige enterprise-hardware, terwijl lagere niveaus goedkopere componenten gebruiken en in sommige gevallen - misschien voor die foto's van jou met beugels waarvan je hoopt dat niemand ze ooit ziet - back-up tape-bibliotheken. Het eindresultaat is dat elk serverrek voor koude opslag 2 petabytes aan opslag kan bevatten, of het equivalent van 4.000 stapels centen die helemaal tot aan de maan reiken.

Bouwen voor de toekomst

Hoewel Facebook Prineville sneller internet en andere voordelen heeft opgeleverd, waaronder meer dan $ 1 miljoen aan donaties aan lokale scholen en goede doelen, is zijn aanwezigheid niet zonder controverse. Oregon geeft veel geld aan belastingvoordelen af ​​aan het bedrijf op een moment dat de lokale economie, nog steeds los van de huizenbubbel van 2008, het nationale gemiddelde volgt.

Toch zouden 1, 65 miljard mensen geen toegang hebben tot Facebook zonder deze woestijnbuitenpost en de zusterdatacenters. En zelfs als het de laatste hand legt aan zijn vierde Prineville-gebouw, is het bedrijf goed op weg om een ​​vijfde centrum in Texas te voltooien. Maar als je je daardoor schuldig voelt over de energie die je op Facebook gebruikt, zou dat niet moeten. Volgens Patchett verbruikt een enkele gebruiker die een jaar lang op Facebook surft minder energie dan nodig is om een ​​latte te maken. Met andere woorden, u kunt afstand doen van slechts één reis naar Starbucks en naar hartenlust door uw nieuwsfeed bladeren.