Domov Naprej razmišljanje Veliki podatki: zahtevna priložnost "bilijona dolarjev"

Veliki podatki: zahtevna priložnost "bilijona dolarjev"

Video: The Groucho Marx Show: American Television Quiz Show - Book / Chair / Clock Episodes (Oktober 2024)

Video: The Groucho Marx Show: American Television Quiz Show - Book / Chair / Clock Episodes (Oktober 2024)
Anonim

Ena izmed stvari, ki me je navdušila na včerajšnjem srečanju o tehnologiji podjetja Bloomberg Enterprise Technology, je bila osredotočenost na obravnavo podatkov na nove načine - z drugimi besedami, ukvarjanje s tistim, kar pogosto imenujemo "veliki podatki".

Nekateri pogovori so obravnavali vrednost velikih podatkov in ne glede na to, ali gre res za "trilijonske dolarje priložnosti", drugi pa so se ukvarjali s posebnimi izzivi, s katerimi se posamezne organizacije in celotna industrija spopada pri širši uporabi teh novih tehnik.

Gerard Francis, vodja globalne organizacije Bloomberg Enterprise Solutions, je Bloomberg LP začel dan s tem, da je predlagal, da je najpomembnejše, kar podjetja lahko storijo, da "izkoristijo vrednost podatkov z njihovo uporabo" in se osredotočijo na dostop, kakovost in pretok podatki v organizaciji. Na naslednjih panelih se je veliko govorilo o novih orodjih, ki obravnavajo podatke, pa tudi o posebnih vprašanjih pri shranjevanju, upravljanju in iskanju ljudi, ki se ukvarjajo s podatki.

V splošnem posvetu o trendih podjetij je Dwight Merriman, predsednik in soustanovitelj MongoDB, dejal, da ima podatkovna plast aplikacijskega zapisa "največjo motnjo in spremembe, ki smo jih videli v 25 letih." Povedal je, da podjetja uporabljajo relacijske baze podatkov že 25 let ali več, kar je najstarejša tehnologija v zbirki. Zdaj pa se dogajajo stvari s shranjevanjem datotek, na primer Hadoop in novimi tehnologijami baz podatkov, ki so pogosto združene kot "NoSQL." Izpostavil je, da pri velikih podatkih ne gre za "velike", temveč za obliko podatkov, vrste podatkov in premik k obravnavanju podatkov v realnem času.

Googlov glavni informacijski direktor Benjamin Fried se je strinjal, da večina podjetij nima težav z velikimi podatki. Številni nabor podatkov - s podatki o HR in finančnih podatkih - ni tako velik, je dejal. Pomembna je prilagodljivost, ki jo potrebujete za pravilno ravnanje s podatki.

Kaj so sploh veliki podatki?

MarkLogic's Gary Bloom, Neustarjev Mark Bregman, Streambase Mark Palmer in Vipul Nagrath iz Bloomberga

Ta koncept - ta fleksibilnost je prav tako pomembna kot velikost podatkov - je odmeval pozneje na drugi plošči. Tam so se udeleženci strinjali, da se podjetja že dolgo ukvarjajo s podatki, ki so zelo zahtevni, vendar se je lestvica v zadnjem času spremenila. Na primer, Mark F. Bregman, starejši podpredsednik in glavni tehnološki direktor Neustarja, je ugotovil, da nekatera podjetja zdaj »vse skladiščijo« v upanju, da se bo izkazalo za koristno.

"Veliko je bolje definirati kot kompleksnost, " pravi Gary Bloom, izvršni direktor in predsednik MarkLogic. Opozoril je, da veliko tako imenovanih aplikacij za velike podatke vključuje veliko različnih vrst podatkov, ne pa tudi vrste glasnosti, ki jo običajno slišite v aplikacijah za velike podatke.

Navedel je primer zračnega prometa, ki združuje vremenske podatke, letališke podatke, geoprostorske podatke, podatke o poletih, podatke o rezervacijah letalskih družb in socialne podatke. Opozoril je, da je bilo ukvarjanje z raznovrstnimi podatki res težko opraviti s tradicionalnimi relacijskimi bazami podatkov, kar je odmevalo prejšnje pripombe MongoDB-jevega Merrimana, da je bil to "prvi generacijski premik baze podatkov v 25 letih", odkar smo se iz mainframe preselili v dobo relacijskih baz podatkov.

Opozoril je, da veliko ljudi govori o podatkih na družabnih medijih, vendar jih je res treba kombinirati z drugimi podatki, da bi res imeli nekaj, na čemer lahko izkoristite korist. Združevanje teh podatkov je "resnična vrednost."

Seveda nekatere aplikacije vsebujejo veliko informacij, Bregman pa pravi, da je heterogenost le en dejavnik. Navedel je podatke DNS, ki zlahka ustvarijo 8TB informacij na dan, in potrebo po shranjevanju takšnih stvari v Hadoopu. Bregman in drugi so ugotovili, da ko gre za "kapitalizacijo podatkov", dejanska vrednost ni v surovih podatkih, ampak je v analitiki, ko postane nekaj, kar lahko uporabite. Ostali v panelu so se strinjali.

Direktor podjetja Streambase Mark Palmer je dejal, da je združevanje velikih količin podatkov s pretočno analitiko pomembno v mnogih aplikacijah; in govorili o dodatni vrednosti, ki bi jo lahko ustvarili s kombiniranjem tradicionalne analitike v realnem času.

Vendar se je strinjal, da je zapletenost podatkov vprašanje. Navedel je, kako je Vivek Ranadivé, ki vodi Tibco (ki je zdaj lastnik Streambase), delno kupil košarkarsko ekipo, da bi ugotovil, kako lahko tehnologija izboljša izkušnjo navijača. Znova je govoril o "združevanju različnih vrst podatkov", začenši iz toka Twitterja, pa tudi o uporabi drugih vrst podatkov.

Bloom je opozoril, da je vse odvisno od vloge, rekoč, da "je latenca v očeh gledalca." Nekatere aplikacije morajo razčleniti podatke na žici, preden sploh zadene v bazo podatkov, druge pa ne.

Bregman je postavil vprašanje, da namesto da bi težko premikal računske vire, je zdaj premalo podatkov premakniti. Opozoril je, da je pri številnih aplikacijah "lock-in" lokacija podatkov. Ko podatke shranite v javni oblak, jih je zelo težko premikati. Kot je dejal, številne organizacije želijo shraniti ogromno količino podatkov na svoje lokacije, da bi se nato lahko premaknile na različne ponudnike, da bi izračunale funkcionalnost. Izposodil si je izraz MarkLogic's Bloom in spregovoril o tem, kako organizacije morda potrebujejo "podatkovno središče, osredotočeno na podatke" kot kraj, kjer hranite ogromne količine podatkov.

Ali so veliki podatki "trilijonski dolar"? "

Porter Bibb iz MediaTech Capital Partners, Cloudera's Doug Cutting, Snaplogic's Gaurav Dhillon in Bloomberg Link's Jason Kelly

Drug panel je razpravljal o priložnostih in izzivih, ki jih prinašajo veliki podatki, na podlagi komentarja Porter Bibb, upravnega partnerja MediaTech Capital Partners. Bibb je dejal, da korporacijam z novimi tehnikami dejansko koristi več kot trilijon dolarjev koristi. Do danes, je dejal, "še nismo začeli izkoriščati potenciala, ki ga ta tehnologija ponuja."

Bibb je govoril o tem, kako pomembno je, da organizacije uskladijo svojo podatkovno strategijo s poslovno strategijo, in bil je zaskrbljen, ker je večina podjetij in vladnih sistemov neusklajenih.

V tistem prvem zasedanju je Scott Weiss iz Andreessena Horowitza dejal, da je "Hadoop kot kriogena shramba", zato je moderator Jason Kelly iz Bloomberga Link vprašal glavnega arhitekta Cloudere Douga Cuttinga, ki je bil eden od ustvarjalcev Hadoopa, kako je gledal da.

Če rečem, Hadoop ljudem omogoča delo z več podatki. Dejal je, da organizacije odstranjujejo podatke s traku, namesto tega pa jih naredijo na spletu in uporabne. Kupci prehajajo iz dela z 90-dnevnimi podatki na pet ali 10 let podatkov v "aktivnem arhivu."

Na tem panelu so se ponovno pojavila številna posebna vprašanja glede obravnave vseh teh podatkov. Generalni direktor Snaplogic-a Gaurav Dhillon je govoril o "gravitaciji podatkov" in dejal, da nima smisla zajemati podatkov, ki so v Hadoopu, in jih premikati v oblak. Toda hkrati, če v oblaku obstajajo podatki, na primer analiza toka klikov, ni smiselno premikati tega lokalnega prostora. Kot rezultat, je dejal, da pri premikanju podatkov vidi zelo malo "čezmejnih priložnosti".

Cutting je dejal, da ne verjame, da resnično primanjkuje podatkovnih znanstvenikov. Namesto tega je dejal, da obstaja veliko ljudi, ki razumejo matematiko in poslovanje, a orodja preprosto nimajo. Dejal je, da se lahko naučite osnov orodij in tega, kar počnejo v nekaj tednih, toda razumevanje vašega podjetja traja leta. Vendar obstaja veliko ljudi, ki to razumejo.

Dhillon je izrazil tudi zaskrbljenost glede zakonodaje, ki obravnava, katere podatke je mogoče hraniti, kam. Povedal je, da nekateri vertikalni trgi zahtevajo, da se informacije shranjujejo lokalno, zaskrbljen pa je zaradi stvari, kot so zahteve, da se podatki ne preselijo iz države izvora. Veliko tega je pretirano odzivanje na stvari, kot so Snowdenova razkritja in kršitve podatkov, je dejal, ko je poudaril, da "naglica z zakonodajo ni nikoli dobra."

Na vprašanje, ali ga skrbi, da kršitve Snowdena in Targeta stranke plašijo podatke, je Cutting dejal, da ga skrbi toliko ljudi. Veliko ljudi se boji tehnologije, je dejal, in to je neuspeh industrije, da bi strankam postalo udobno, saj so njihovi podatki uporabljeni. "Ni vam treba biti grozljiv, " je rekel.

Na koncu je bilo veliko razprav o vrednotenjih, saj je Bibb menil, da je nedavna Intelova naložba v Cloudero "velika stvar", saj potrjuje, kaj podjetje počne. Povedal je, da se okoli velikih podjetij, kot so Oracle, IBM, Microsoft in Amazon, gibljejo okoli podjetja za prediktivno analitiko. "Zlato hitenje se šele začne."

Dhillon je dejal, da ocene odražajo, kaj vodovodna podjetja prinašajo na trgu velikih podatkov. Povedal je, da je vesel, da taki fantje dobijo dobre ocene, a se boji, da so vrednotenja pred trgom.

Bibb je dejal, da misli, da bi lahko bili veliki podatki prekomerno izpostavljeni v medijih, vendar je v "c-suite" (kar pomeni izvršne direktorje, finančne direktorje in druge najvišje vodstvene delavce) premalo izpostavljen. Povedal je, da ima "velik gospodarski potencial, ki ga še ni treba odkriti.."

Veliki podatki: zahtevna priložnost "bilijona dolarjev"