Vývoj veľkých dát

Začiatkom roku 2000 bolo jasné, že v súvislosti s údajmi existuje obrovská potreba inovácií. Obmedzenia toho, čo firmy môžu robiť so svojimi údajmi, frustrovali vedúcich pracovníkov a ohromne znížili efektívnosť. Mnoho spoločností si ukladalo obrovské množstvo informácií, ale nedokázalo ich jednoducho spravovať, analyzovať alebo manipulovať v ich prospech. Tento rastúci tlak ustúpil od hranice veľkých dát.

V roku 2003 spoločnosť Google vytvorila MapReduce, dátovú aplikáciu, ktorá spoločnosti umožnila v krátkom čase spracovať a analyzovať informácie o svojich vyhľadávacích dopytoch na tisícoch serverov. Program bol prispôsobiteľný a prispôsobiteľný a umožnil spoločnosti Google vykonávať tisíce údajov za pár minút, čo zlepšilo produktivitu a nanovo definovalo vnímané hranice toho, čo sa dá s údajmi urobiť. O takmer 10 rokov neskôr sa veľké údaje stali ústredným princípom informačných technológií. Jeho ďalekosiahly rozsah a schopnosti zásadne zmenili správu údajov na pracovisku. Čo však podnietilo tento vývoj a ako presne ovplyvnia veľké údaje budúcnosť? Mysleli sme, že sa nikdy nepýtate. (Ak si chcete prečítať niektoré informácie o veľkých údajoch na pozadí, prečítajte si časť Big Data: Ako je to zachytené, rozdrvené a použité na obchodné rozhodnutia.)

Hľadanie odpovedí na veľké dátové otázky

Krása MapReduce bola spôsob, ako zjednodušiť veľmi zložité úlohy. Komunikácia by mohla byť riadená naprieč strojmi, mohli by sa riešiť zlyhania systému a automaticky by sa mohli organizovať vstupné údaje, proces, na ktorý by mohli dohliadať jednotlivci, ktorí už nepotrebujú vysoko technické zručnosti. Vďaka tomu, že spracovanie údajov bolo nielen možné, ale aj prístupné, inšpirovala spoločnosť Google kultúrny posun v správe údajov. Netrvalo dlho a tisíce veľkých firiem využívali MapReduce na svoje údaje.

Bol však jeden problém: MapReduce bol jednoducho programovací model. Aj keď to uľahčilo základy spracovania údajov, nebolo samo osebe odpoveďou na existujúce nedostatky údajov; bol to len veľmi potrebný krok správnym smerom. Podniky stále potrebovali systém, ktorý by mohol riešiť ich jedinečné potreby v oblasti údajov a ísť nad rámec holých zásad správy údajov. Stručne povedané, technológia sa musela vyvíjať.

Zadajte Hadoop

Zadajte Hadoop, open-source framework softvér vytvorený niekoľkými programátormi, vrátane Doug Cuttinga. Tam, kde bol MapReduce základný a široký, poskytol Hadoop osviežujúcu špecifickosť. Spoločnosti mohli navrhnúť svoje vlastné aplikácie šité na mieru, ktoré riešia potreby údajov spôsobom, ktorý nemohol žiadny iný softvér, a bol všeobecne kompatibilný s inými súborovými systémami. Firma s talentovanými programátormi by mohla navrhnúť systém súborov, ktorý by dosiahol jedinečné úlohy s údajmi, ktoré sa predtým zdali nedosiahnuteľné. Najlepšie na tom bolo asi to, že vývojári by si navzájom vymieňali aplikácie a programy, ktoré by mohli byť vysvetlené a zdokonalené.

Demokratizáciou takéhoto dôležitého zdroja sa Hadoop stal trendom. Koniec koncov, mnoho veľkých spoločností, najmä firiem vo vyhľadávačoch, malo pocit, že ich potrebujú desaťročia! Netrvalo dlho, kým giganti vyhľadávacích strojov, ako napríklad Yahoo, oznamovali implementáciu veľkých aplikácií Hadoop, ktoré generovali údaje použité v dotazoch na vyhľadávanie na webe. V čase, keď sa zdalo, že ide o vlnu, niekoľko významných spoločností oznámilo prijatie tejto technológie pre svoje rozsiahle databázy, vrátane služieb Facebook, Amazon, Fox, Apple, eBay a FourSquare. Hadoop stanovil nový štandard pre spracovanie dát.

Veľké dáta, veľké problémy

Pokroky v dátovej technológii zmenili spôsob, akým spoločnosti spracúvajú údaje, mnohí vedúci pracovníci ich však stále považujú za nevybavených pre celú škálu požadovaných úloh. V júli 2012 spoločnosť Oracle zverejnila prieskum viac ako 300 vedúcich pracovníkov na úrovni C, ktorý odhalil, že zatiaľ čo 36% spoločností sa spolieha na IT pri správe a analýze údajov, 29% z nich má pocit, že ich systémy nemajú dostatočné schopnosti na to, aby vyhoveli ich spoločnostiam. potrebuje. Možno najvýraznejším zistením štúdie bolo, že 93 percent respondentov verilo, že ich firma stratila až 14 percent svojich príjmov, pretože nemohla použiť zhromaždené údaje. To sú príjmy, ktoré by sa mohli minúť za vylepšenie výrobkov a najatie väčšieho počtu pracovníkov. V čase, keď sa spoločnosti snažia zostať ziskové, je nevyhnutné zlepšovať údaje, aby sa podniky mohli stať ziskovejšími. Prieskum naznačuje, že napriek tým, ktorí sa domnievajú, že vplyv veľkých údajov na obchod už prešiel, príležitosti na rast a pokrok, ktoré sú v ňom obsiahnuté, sa ešte musia naplno využiť.

Čo drží budúcnosť pre veľké dáta

Dobrou správou je, že spoločnosti Hadoop a MapReduce inšpirovali mnoho ďalších nástrojov na správu údajov. Mnoho nových spoločností vytvára rozsiahle dátové platformy, ktoré fungujú na Hadoop, ale ponúkajú širokú škálu analytických funkcií a ľahšiu integráciu systému. Zdá sa, že spoločnosti investovali veľké množstvo zdrojov do riešenia problémov s údajmi, čoho dôkazom je finančný úspech dátových firiem. V roku 2010 dátové spoločnosti dosiahli maloobchodný predaj približne 3, 2 miliardy dolárov. Mnoho odborníkov odhaduje, že tento počet sa do roku 2015 zvýši na neuveriteľných 17 miliárd dolárov. Túto skutočnosť nestratili niektoré z najväčších technologických spoločností. Spoločnosti IBM a Oracle minuli niekoľko mesiacov miliardy, aby získali dátové firmy. Mnoho ďalších firiem urobí podobné kroky v nasledujúcich rokoch, keď budú naďalej súťažiť o konkurenčný podiel na trhu.

Hranica veľkých dát

Množstvo údajov, ktoré sa zbierajú, naďalej exponenciálne rastie, čo sa obáva a iné vzrušujú. Nevýhodou je, že ľudské bytosti sa budú aj naďalej stávať produktívnejšími a adaptívnejšími, keď sa prostredníctvom analýzy údajov učíme nové veci o našom svete. Nevýhodou je, že existuje také obrovské množstvo údajov, že mnohí sa obávajú, že ich nedokážeme správne uchovávať, oveľa menej správne ich spravovať, aby ich mohli využívať všetci, ktorí ich potrebujú.

Pokrok v oblasti veľkých údajov však môže poskytnúť bezprecedentné príležitosti na riešenie naliehavých otázok týkajúcich sa údajov. Napríklad experti navrhli, že keby sa veľké údaje správne implementovali s dôrazom na efektívnosť a kvalitu, bolo by možné ušetriť iba 300 miliárd dolárov ročne iba na výdavky na zdravotnú starostlivosť; maloobchodníci by mohli zlepšiť svoje prevádzkové marže, verejný sektor by mohol poskytovať lepšie služby a veľké podniky by ušetrili miliardy. Zdá sa teda, že riešenie našich problémov s dátami nie je potrebné len v správnych radách spoločností, ale všade. Čo hovorí o dobrých veciach týkajúcich sa budúcnosti veľkých dát - a možno aj našej.