Aké okolnosti viedli k vzostupu veľkého dátového ekosystému?

Q:

Aké okolnosti viedli k vzostupu veľkého dátového ekosystému?

K vzniku dnešného veľkého dátového ekosystému prispelo mnoho faktorov, existuje však všeobecná zhoda v tom, že veľké údaje sa vyskytli kvôli množstvu návrhov hardvéru a softvéru, ktoré jednoducho umožňovali existenciu veľkých údajov.

Bežné vymedzenie veľkých údajov je takéto: Súbory údajov, ktoré sú dostatočne veľké a zložité na to, aby odolali ľahkému iteračnému správaniu alebo ručnej správe. Veľké množiny údajov sa často identifikujú ako množiny údajov, ktoré sa nezmestia do jednoduchej sieťovej databázy, pretože ich analýza si vyžaduje príliš veľa práce zo strany serverov, ktoré manipulujú s údajmi.

S ohľadom na to je hlavnou časťou toho, čo viedlo k vytvoreniu veľkých údajov, myšlienka, ktorú poznáme ako Mooreov zákon, alebo zdvojnásobenie tranzistorov na obvode každé dva roky, vytvorenie stále menších hardvérových zariadení a zariadení na ukladanie údajov (ako aj výkonnejších mikroprocesorov)., V spojení s Mooreovým zákonom a pravdepodobne aj z tohto dôvodu sa výpočtová schopnosť prístupných softvérových systémov neustále zvyšovala až do bodu, keď dokonca aj osobné počítače dokázali spracovať oveľa väčšie množstvo údajov, a obchodné a vedúce systémy začali zvládať veľkosti údajov. nepredstaviteľné iba pred niekoľkými rokmi. Osobné systémy sa presunuli z kilobajtov do megabajtov a potom do gigabajtov, čo je proces, ktorý je pre spotrebiteľov transparentný. Vanguardské systémy sa presúvali z gigabajtov na terabajty a petabajty a na rádovo veľké rády ako zetabytov spôsobom, ktorý bol pre priemerného občana oveľa menej transparentný.

Ďalším pokrokom v ústrety veľkým údajom boli zmeny v spôsobe, akým spracovatelia spracovávali súbory údajov. Namiesto lineárneho spracovania pomocou konvenčného návrhu relačnej databázy začali manipulátori používať nástroje ako Apache Hadoop a súvisiace časti riadenia hardvéru na odstránenie prekážok v dátových procesoch.

Výsledkom je veľký dátový svet, v ktorom žijeme, v ktorom sa ukladajú a udržiavajú rozsiahle súbory údajov v dátových centrách a čoraz viac k nim pristupuje široká škála technológií pre širokú škálu použití. Od obchodu po ekológiu, od verejného plánovania až po medicínu sú veľké údaje stále prístupnejšie. Medzitým vládne agentúry a ďalšie väčšie organizácie stále tlačia hranice veľkých dát a implementujú ešte pokročilejšie riešenia.