Kako ta množična zgradba v puščavi oregona ohranja facebook

PRINEVIL, Ore. - Obstaja veliko načinov, kako zagotoviti hiter internet. Lahko se preselite v mesto Google Fiber. Izberete lahko enega naših najhitrejših ponudnikov internetnih storitev. Lahko pa zgradite svojo hišo poleg Facebookovega podatkovnega centra.

Na primer vzemite prvi Facebook podatkovni center. Odprto leta 2011 v Prinevilleu, Ore., Je vzor vsem centrom podatkov, ki jih je od takrat gradil velikanski družbeni medij, od Švedske do Iowe. Potroši tako veliko pasovne širine, da potrebuje več ponudnikov internetnih storitev, ki služijo temu območju, da utrdijo svoja omrežja in pripelje lokalne prebivalce na vožnjo.

Podatkovni center Prineville skupaj z drugimi napravami Facebooka si lahko predstavljate kot skupno srce največjega družbenega omrežja na svetu: prejemajo ogromno prošenj za fotografije, posodobitve stanja in novice, ki jih osveži 1, 65 milijarde aktivnih uporabnikov spletnega mesta in odzivajte čim hitreje, podobno kot srce, ki črpa kisik v krvni obtok.

Objekt Prineville se bliža svoji peti obletnici in obravnava prošnje za podatke o stvareh, za katere Mark Zuckerberg verjetno ni imel pojma, da jih bo Facebook počel, ko je v svoji sobi v Harvardu zasanjal idejo o podjetju.

Ta teden se je PCMag ustavil za ogled.

Prineville seveda še vedno shranjuje fotografije in posodobitve stanja, vendar ima zdaj na tisoče Nvidia GPU-jev, ki podpirajo Facebookovo raziskovanje umetne inteligence, ter 2000 iOS in Android telefonov, ki tečejo 24 ur na dan. To pomaga, da inženirji podjetja povečajo energetsko učinkovitost svojih aplikacij, ki poleg Facebooka vključujejo Instagram, Messenger in WhatsApp.

Podatki na Facebooku so "odporni, ne odvečni"

Prva stvar, ki jo opazite pri objektu Prineville, je njegova velikost. V drevesni visoki puščavi osrednjega Oregona tri ure vožnje iz Portlanda ni ena sama zgradba, temveč štiri (in to ne vključuje še enega velikega podatkovnega centra Apple, ki je bil pred kratkim zgrajen čez cesto, imenovan Connect Way). Ena izmed Facebook zgradb lahko v notranjosti namesti dva Walmarta in je približno 100 čevljev daljša od letalonosilke razreda Nimitz.

V notranjosti so strežniki, ki imajo več petabajtov prostora za shranjevanje in ki jih inženirji Facebooka nenehno nadgrajujejo z zamenjavo komponent. Od 165 ljudi, ki delajo v podatkovnem centru s polnim delovnim časom, jih je 30 na stavbo dodeljeno samo za servisiranje ali zamenjavo napajalnikov, procesorjev, pomnilnika in drugih komponent.

Značilnost skoraj vsakega podjetja, ki deluje na internetu, od Amazona do Charlesa Schwaba, je odveč: več strežnikov, ki shranjujejo več kopij podatkov. Tako je manj v Prinevillu, kjer se je Ken Patchett, Facebook direktor za zahodne podatkovne operacije, namesto tega osredotočil na odpornost - v grobem opredeljeno kot sposobnost biti pripravljen kadarkoli in kjer koli na svetu, ki se nekdo prijavi na Facebook.

Kot poudarja Patchett, je osredotočenost na "odpornost in ne odveč", saj ima Facebook razkošje za shranjevanje več kopij podatkov na drugih lokacijah po svetu, od Lulea, Švedska, do Altoona, Iowa. Torej, namesto da bi imeli dva ali več vsega, se lahko osredotoči na strateške nakupe opreme na vsaki lokaciji, na primer na en rezervni generator moči na vsakih šest glavnih generatorjev.

"Če boš odporen, moraš biti davčno odgovoren, " je pojasnil Patchett. Je eden od ustanoviteljev očetov visokotehnoloških podatkovnih centrov v visoki puščavi Oregona. Preden je prišel na Facebook, je pomagal ustanoviti podatkovni center v Dallesu v državi Ore., Za Google, ki je eno prvih internetnih podjetij, ki je izkoristilo poceni hidroelektrarno in hladno, suho vreme, ki so značilne za velik vzhodni del devete največje Amerike država.

Seveda je obilna moč ključnega pomena za delovanje Facebooka. Temperaturo strežnika uravnava kombinacija vodne hladilne tekočine in ogromni ventilatorji, ki vlečejo suh puščavski zrak (spodaj) namesto klimatskih enot z napajanjem denarja in denarja. Ciljno temperaturno območje je med 60 in 82 stopinj Fahrenheita. Patchettova ekipa je postala tako dobra pri doseganju tega cilja, da se Prineville zdaj ponaša z razmerjem izkoristka moči 1, 07, kar pomeni, da hladilna oprema, luči in grelniki - vse kar ni računalniška naprava - porabijo le 7 odstotkov celotne porabe energije v objektu..

32 iPhonov v škatli

Večina hlajenja in moči gre v smeri izpolnjevanja zahtev strežnikov, nekateri pa so preusmerjeni v razmeroma majhno sobo za testiranje aplikacij, ki ima posledice za zmanjšanje porabe energije ne samo v Prinevilleu, ampak na vsakem telefonu s Facebook aplikacijo.

Ni skrivnost, da se je Facebook aplikacija borila z upravljanjem moči. Guardian je v začetku letošnjega leta trdil, da aplikacija zmanjšuje življenjsko dobo baterije na iPhonih za 15 odstotkov. Za racionalizacijo aplikacije in zmanjšanje porabe baterije je podjetje prineslo približno 2000 telefonov iOS in Android v Prineville, kjer so nameščeni v škatle v 32 skupinah.

Vsaka škatla ima svoje omrežje Wi-Fi, ki ga zapirajo izolirane stene in bakreni trak, ki jih inženirji na sedežu v ​​Silicijevi dolini uporabljajo za preizkušanje baterij. Iščejo "regresijo" v uporabi baterije in zmogljivosti, ki jo povzročajo posodobitve aplikacij Facebook, Instagram, Messenger in WhatsApp. Če ga najdejo v Facebookovi lastni kodi, ga popravijo. Če je neučinkovitost uvedel razvijalec, njihov sistem kršitelja samodejno obvesti preko e-pošte.

V škatlah ni samo najnovejših iPhone 6s ali Galaxy S7. Na strani iOS vključujejo številne modele iPhone 4s in novejših. Na strani Android, kdo ve? Dovolj je reči, da obstaja en fant, katerega naloga je najti prikrite Android naprave in jih pripeljati v Prineville.

"Telefone moramo dobiti od vsepovsod, " je dejal Antoine Reversat, inženir, ki je pomagal razviti testno infrastrukturo in programsko opremo. Njegov končni cilj je podvojiti zmogljivost regalov, da sprejme do 62 telefonov, in razbrati način, kako 20-stopenjski ročni postopek, potreben za konfiguriranje telefona za testiranje, zmanjšati na en korak. To bi moralo tolažiti vsakogar, ki mu je kdaj umrl telefon, medtem ko je osvežil svoje novice.

Big Sur: Facebookovi AI možgani

Naslednji ogled so bili strežniki umetne inteligence Big Sur, ki, tako kot kalifornijska obala, po katerih so poimenovani, zagotovo predstavljajo najbolj slikovit del podatkovnega centra. Seveda ne govorimo o obsežnih pacifiških razgledih, temveč o računalniškem zaslonu, ki je prikazal skupino slik, ki jih je posadil Ian Buck, Nvidijin podpredsednik za pospešeno računalništvo.

"Usposabljali smo nevronsko mrežo za prepoznavanje slik, " je pojasnil Buck. "Po približno pol ure ogleda slik lahko začne ustvarjati svoje."

Tiste na ogled so spominjale na francoski impresionizem iz 19. stoletja, vendar z zasukom. Če želite kombinacijo sadnega tihožitja in rečne pokrajine, bo Big Sur narisal za vas tako, da bo na strežniku prilagodil svojih 40 petaflopov procesne moči. Gre za enega izmed številnih AI sistemov, ki uporabljajo Nvidia GPU-je - v tem primeru procesorje Tesla M40, ki temeljijo na PCI.e - za reševanje zapletenih težav s strojnim učenjem. Googlov zdravstveni projekt DeepMind uporablja tudi Nvidijine procesorje.

Facebook uporablja Big Sur za branje zgodb, prepoznavanje obrazov na fotografijah, odgovarjanje na vprašanja o prizorih, igranje iger in učenje rutin, med drugimi nalogami. To je tudi programska oprema z odprtim virom, ki drugim razvijalcem ponuja načrt, kako postaviti lastno infrastrukturo, specifično za AI. Strojna oprema vključuje osem Tesla M40 GPU plošč do 33 vatov. Vse komponente so enostavno dostopne v predalu strežnika, kar povečuje enostavnost nadgradenj, ki zagotovo prihajajo, ko Nvidia izda nove PCI.e različice svojih Teslin GPU-jev, vključno z vodilnim P100.

Hladilnica za pozabljene fotografije

Ker je Prineville prvo Facebookovo podatkovno središče, se inženirji ponavadi preizkušajo ideje, s katerimi bodo Facebookovi strežniki učinkovitejši. Ena izmed najnovejših idej je shranjevanje v hladilniku ali namenski strežniki, ki shranijo karkoli na Facebooku, ki ne dobi veliko ogledov - na primer fotografije vašega maturantskega maturanta ali tiste desetine posodobitev stanja, ki ste jih objavili, ko je Michael Jackson umrl leta 2009.

Skrivnost uspeha hladnega skladiščenja je več stopenj. Prvo stopnjo sestavljajo visoko zmogljiva strojna oprema podjetja, medtem ko nižji sloji uporabljajo cenejše komponente, ponekod - morda za tiste fotografije vas z naramnicami, za katere upate, da jih nihče ne bo videl - rezervne knjižnice trakov. Končni rezultat je, da lahko vsak strežnik hladilnika shrani 2 petabajta za shranjevanje ali enakovredno 4.000 skladov peni, ki sega vse do Lune.

Gradnja za prihodnost

Čeprav je Facebook Prinevilleu prinesel hitrejše internetne in druge koristi, vključno z več kot milijon dolarjev donacij lokalnim šolam in dobrodelnim organizacijam, njegova prisotnost ni brez polemike. Oregon se podjetju odpoveduje veliko denarja v davčnih olajšavah v času, ko lokalno gospodarstvo, ki se še vedno spominja na stanovanjski balon iz leta 2008, sledi državnemu povprečju.

Kljub temu 1, 65 milijarde ljudi ne bi imelo dostopa do Facebooka brez tega puščavskega postanka in njegovih sestrskih podatkovnih centrov. Kljub temu, da je v svoji četrti stavbi Prineville postavil zaključne poteze, podjetje že dobro napreduje k dokončanju petega centra v Teksasu. Če pa se zaradi tega počutite krive zaradi energije, ki jo porabi vaše brskanje po Facebooku, ne bi smelo. Po Patchettovih besedah ​​en uporabnik, ki brska po Facebooku celo leto, porabi manj energije, kot je potrebno za izdelavo latte. Z drugimi besedami, lahko odpovete samo en izlet v Starbucks in se pomaknete skozi novice do vsebine vašega srca.