Čo je hadoop presne? cynická teória

Všetko, čo vyzerá príliš dobre na to, aby to bolo pravda, je zvyčajne. Môže to byť napríklad prípad Apache Hadoop, veľmi otvoreného projektu s otvoreným zdrojom, o ktorom všetci stále hovoria. Čo presne to je? Dobrá otázka!

Odborníci pochybujú

Analytik Mark Madsen z Tretej prírody to chvíľu pritiahol späť k mizernému kusu na InsideAnalysis.com: „Čo je Hadoop. Čo Hadoop nie.“ Ako niekto, kto vie, ako navrhnúť riešenia v skutočnom svete, a potom ich skutočne nasadiť, by sa jeho rada nemala ignorovať.

Tečie tu však hlbší prúd a je na čase objaviť korene tejto fascinujúcej flóry, aby sme zistili, či nemôžeme získať nejaký pohľad na to, čo sa deje na makroúrovni. Koniec koncov, predajcovia stále hovoria, že je to veľký problém, a je ich toľko účastníkov.

Zamestnajte Committers! (?)

Väčšinu vznikajúceho trhu spoločnosti Hadoop v súčasnosti vlastnia tri spoločnosti: Cloudera, Hortonworks a MapR. Na nedávnom, pomerne spornom briefingu prostredníctvom Boulder BI Brain Trust (#BBBT), Jim Walker z Hortonworks predniesol tento zvedavý komentár:

"Nemôžete pokročiť v technológii, ak nezamestnávate províznych pracovníkov!"

Príď znova?

Neznie to ako niečo, čo by mohol senátor Palpatine povedať vo filme Star Wars?

Senátor Palpatine: „Zamestnajte členov tímu!“

Minion v okolí: „Ale, ale, pane! Mysli na deti!“

Pre laikov, ktorí sa práve snažia dosiahnuť veci, sú komisármi ľudia, ktorí sa venujú konkrétnemu projektu s otvoreným zdrojom. Nadácia Apache má prísne protokoly, podľa ktorých sa ich projekty posúvajú vpred, čo je často dobrá vec.

To znamená, že Walkerova poznámka si vyžaduje preskúmanie. Jedna bodová otázka (s rizikom vyvolania dní na ihrisku) by bola: Je to sľub alebo hrozba? Hovorí, že Hortonworks si môže vziať len loptu a ísť domov?

Spolupráca alebo konkurencia?

Zaujímavým, ak paradoxným uhlom je to, že údajne väčšina komisárov v tíme Hadoop (celkovo približne 30) pochádza z Hortonworks a Cloudera - ktorí sú konkurenti. Toto je veľmi zvedavý prípad konkurencie.

Čo je riešenie? Tu je vzdelaný odhad: Hadoop do značnej miery vďačí za svoju slávu inteligentnému plánu, ktorý navrhla skupina rizikových kapitalistov a inžinierov v Silicon Valley, ktorí sa v podstate snažia zaistiť svoje stávky proti spoločnosti Oracle.

Všeobecnou myšlienkou je založiť trh základom kódu, ktorý je možné vylepšiť a podporiť flotilou vývojárov so značkovými značkami vývojárov, ktorí v priebehu času ideálne vytvoria všetky druhy nástrojov na správu údajov vrátane databázových produktov. VC môžu niekedy investovať a vyplácať peniaze. Ale v hre sú nejaké vážne problémy.

Rovnako ako všetky monolitické podniky sa aj Oracle často ocitá v nitkových krížoch mnohých menších hráčov. A kto by nechcel iba kúsok z ich znecitlivujúcich príjmov? Iba v poslednom štvrťroku spoločnosť Oracle rezervovala ~ 9 miliárd dolárov. Náročné Big Red a ich bitie sú dve veľmi odlišné skutočnosti.

Webové vysielanie zadarmo: Čo je to Hadoop a kam smeruje? Pripojte sa k Ericovi Kavanaghovi, Robin Bloorovi a Techopedii, aby ste diskutovali o tom, ako sa Hadoop výrazne líši od Linuxu alebo SOA a prečo je jeho budúcnosť do značnej miery nepísaná.

Problémy s balením

Samotná vec Hadoop je, že to v žiadnom prípade nie je zabalené riešenie. Ide skôr o komplexnú kolekciu modulov, ktoré umožňujú vysoko kvalitným programátorom využívať rozsiahle algoritmy paralelného spracovania na vykonávanie veľmi špecifických vecí. Neexistuje žiadne vymyslené používateľské rozhranie a príručky sú brutálne.

Pridajte k tejto výzve túto kritickú prekážku: potrebujete podnikateľov, ktorí majú aspoň všeobecné vedomosti o tom, čo môžu robiť. Títo ľudia musia byť schopní vymyslieť nápady, ako sa dá použiť, a potom komunikovať s vývojármi, ktorí musia následne vytvárať, testovať, implementovať a podporovať aplikácie.

Organizáciou tohto tanca je to, ako Cloudera a Hortonworks zarábajú veľa zo svojich peňazí. Problém je, že väčšina riešení vytvorených touto metódou je jedinečná a zvyčajne sa zameriava na operačné systémy na rozdiel od analytických systémov. Preklad? Veci, ako je táto, sa skutočne nedajú požičať softvérovým produktom.

Ziskovosť balenia!

Čo nás privádza späť k spoločnosti Oracle. Larry Ellison a chlapci robia seno na predaj databázovej techniky, hardvéru, služieb a (čakajú na to …) zabaleného softvéru. Cloudera zrejme na to prišla, a preto sa zamerali na Impalu. Ale Hortonworks?

Zdá sa, že ich model napodobňuje model RedHat, ľudí, ktorí si vybudovali obchod s miliardami dolárov na vrchole operačného systému Linux. Nary, hlavný dodávateľ v odbore podnikového softvéru, nepíše pre Linux, OS, ktorým IBM viedla spoločnosť Microsoft pri priechode. Ale Hadoop nie je Linux, ani z diaľky.

Geoffrey Malafsky, bývalý nanotechnológ amerického námorníctva, teraz vedecký pracovník údajov v spoločnosti Phasic Systems a inštitúte PSIKORS, predáva túto hodnotovú ponuku Hadoop takto:

„Hadoop je vynikajúci na vyhľadávanie, veľmi rozsiahlu analýzu trendov pre stochastické výsledky a pravdepodobne niektoré veľmi lacné šikovné paralelné spracovanie vecí, aké používala moja bývalá manželka: kvantový výpočet mechanických vlnových funkcií v pevnom stave a chemické reakcie. Táto skutočná veda sa opiera o o superpočítačoch a presunuli sa trochu do paralelného spracovania, ale je to tvrdá zmena programovacieho prístupu. Mladí, inteligentní, energetickí študenti postgraduálneho štúdia budú tí, ktorí to uskutočnia. Mám podozrenie, že výskumné granty začínajú týmto smerom smerovať na niektoré vysoko výkonné výpočtové techniky. aplikácie ".

Všimnite si, že to neznie nič ako sklad údajov, obchodná inteligencia, integrácia údajov alebo dokonca veľké dáta. Znie to ako superpočítač. A z nejakého zaujímavého dôvodu sa svety vysokovýkonných výpočtových systémov a podnikovej inteligencie nikdy v žiadnom významnom prípade nezhromaždili ani nezhromaždili.

Dlhá cesta pred Hortonworks a Cloudera

A tu sú naozaj zlé správy pre Hortonworks a možno aj Clouderu. Veľkí predajcovia ako IBM a SAP a Oracle a Teradata - aby to povedali mierne a citovali Dire Straits: „Tí chlapci nie sú hlúpi!“ Pred tromi a viac rokmi sa všetci venovali serióznym stratégiám Hadoop.

Ústredným bodom týchto plánov sú druhy vecí, ktoré používatelia očakávajú: grafické užívateľské rozhranie, funkčnosť drag-and-drop, nástroje na modelovanie a zisťovanie, pracovný tok, riadenie, bezpečnosť; Stručne povedané, všetky kúsky, vďaka ktorým je podnikový softvér použiteľný. A samozrejme, títo veľkí predajcovia majú rozsiahle inštalačné základne.

Cloudera aj Hortonworks si iste vyložili dobrý obchod, ale len malý zlomok toho, čo títo hlavní hráči dostanú každý rok. Urobte matematiku o tom, koľko vyzývateľov účtujú svojim zákazníkom, v porovnaní s tým, aká veľká je ich režijná cena, a obrázok nie je taký ružový. Je pravda, že to je pre kurz rovnaké ako v počiatočnom štádiu softvérových problémov, ale stále …

Budúcnosť Hadoopu?

Mohli by sme teda vidieť klasickú vlnu akvizícií, aké sme mali späť v aughts, keď IBM kúpila Cognos, Oracle dostala Hyperion a SAP nabbed BusinessObjects? Možno, ale nové deti v tomto bloku nevlastnia Hadoop; jednoducho si to požičiavajú. A ako sľubné môžu byť YARN a Tez, zdá sa, že uvoľňovacie cykly zaostávajú za tým, čo produkujú ťažkí hitteri.

Iba druhý deň zasvätený priemysel komentoval, že politika v spoločnosti Apache môže byť vážnou prekážkou. To nie je nijako prekvapivé, najmä ak vezmete do úvahy zapojené doláre - pre inovátorov existuje veľká motivácia, aby ich štrajkovala. A všimol si niekto, ako sa zdá, že prehliadač Chrome v poslednej dobe prekonal Firefox vo funkčnosti a funkčnosti? Uzavretý zdroj, niekto?

Jedna vec je istá: táto hra sa bude hrať zaujímavými spôsobmi. Áno, cicavce (čítaj: malí predajcovia) môžu dinosaurov často predbehnúť; ale na celom svete stále existujú aligátory a krokodíly; a ak narazíte na jedného, ​​kto nevie, možno len zistíte, aké ostré môžu byť tieto zuby. Niekoľko kríkov dokopy mohlo dokonca slona alebo dvoch zložiť.