Od zamestnancov Techopedia, 8. júna 2016
Take away: Host Eric Kavanaugh diskutuje o inováciách v oblasti databázových technológií s odborníkmi Dezom Blanchfieldom, Robinom Bloorom a Bertom Scalzom.
Momentálne nie ste prihlásení. Ak chcete vidieť video, prihláste sa alebo sa zaregistrujte.
Eric Kavanagh: Dámy a páni, je stredu, o štyri východné časy. Som v New Orleans, prichádza leto, to znamená, že je horko! Nastal čas pre Hot Technologies, samozrejme, áno. Volám sa Eric Kavanagh, budem tvojím hostiteľom. Idem sem kopnúť loptu späť pre Hot Technologies. Dnešnou témou je „Forward Momentum: Moving Relational Beyond Traditional“. Ľudia, dnes máme v telefóne troch odborníkov na databázu, takže akékoľvek otázky, ktoré máte, pošlite im tie tvrdé, nehanbite sa. Dnes máme pre vás pripravených veľa dobrého obsahu. Skutočne je tu vaše miesto, dosť o mne. Tento rok je, samozrejme, horúci. V tejto show, ktorá je partnerstvom s našimi priateľmi z Techopedia, hovoríme o horúcich technológiách. A dnes ideme až po základy správy informácií, čo je samozrejme databáza. Budeme hovoriť o tom, ako sme sa sem dostali, čo sa dnes deje a čo sa deje ďalej. Deje sa veľa zaujímavých vecí.
Je zrejmé, že v databázovom priestore máme nejaké vážne inovácie. Chvíľu to bolo ticho; Ak hovoríte s niektorými analytikmi v odbore, povedal by som, že pravdepodobne od roku 2005, 2009 do roku 2009 alebo „10“ sa nezdálo, že by sa toho dalo príliš veľa v oblasti inovácií. A zrazu to jednoducho vypuklo, ako útek z väzenia alebo tak, a teraz sa tu dejú rôzne zaujímavé veci. Veľa z toho je kvôli rozsahu webu a všetkým skvelým vlastnostiam webu, ktoré robia rôzne zaujímavé veci. Odtiaľ pochádza koncept NoSQL. A to znamená dve rôzne veci: to znamená, že žiadny SQL, pretože v ňom nepodporuje SQL, znamená to tiež nielen SQL. Niektorí ľudia používajú výraz „NewSQL“. Ale samozrejme, SQL - Structured Query Language - je skutočne základom, je to základ dotazovania.
A je zaujímavé, že všetky tieto motory NoSQL, čo sa stalo? Prišli, bolo z toho veľa vzrušenia a potom o pár rokov neskôr, čo sme všetci začali počuť? Oh, SQL na Hadoop. Všetky tieto spoločnosti začali fackovať rozhrania SQL do svojich nástrojov NoSQL a každý, kto je vo svete programovania, vie, že to povedie k niektorým výzvam a ťažkostiam, niektorým prešiel cez káble a tak ďalej. Takže sa dnes dozvieme o mnohých týchto veciach.
Existujú naši traja prednášajúci: privolali sme Dez Blanchfielda zo Sydney, nášho vlastného Robina Bloora, ktorý je v Texase, a rovnako je to Bert Scalzo, ktorý je tiež v Texase. Najprv teda budeme počuť od Deza Blanchfielda. Ľudia, budeme pípať na hashtag #HotTech, takže neváhajte a pošlite svoje komentáre, alebo poslať svoje otázky prostredníctvom Q & A komponenty webcast konzoly, alebo dokonca cez okno rozhovoru. A s tým, Dez Blanchfield, zober to.
Dez Blanchfield: Ďakujem, Eric. Ahoj všetci. Takže sa pokúsim scénu postaviť na 30 000 stôp pohľadu na to, čo sa stalo v poslednej dekáde, a na významné posuny, ktoré sme videli - alebo aspoň desaťročia a pol - systémy na správu databáz a niektoré vplyvy z komerčného alebo technického hľadiska a niektoré z trendov, ktoré sme neskoro dosiahli, a vedú nás do konverzácie, ktorú sa dnes chystáme okolo tejto témy.
Môj obrázok na obale je piesočná duna a z jej vetra vyfukuje malé kúsky piesku. Výsledkom toho je, že piesková duna pomaly kráča z jedného priestoru do druhého. A je to úžasný jav, keď sa tieto masívne hory vysoké 40 a 50 stôp piesku skutočne pohybujú. A pohybujú sa veľmi pomaly, ale iste sa pohybujú a pri pohybe menia krajinu. A je to niečo, čo by ste mali sledovať, ak vôbec trávite čas v oblasti, kde sú piesočné duny prirodzenou vecou. Pretože sa môžete jedného dňa pozerať z okna a uvedomiť si, že táto masívna hora piesku sa malé drobné zrná v skutočnosti pohybovali samy osebe a vietor ju pomaly posúva z jedného miesta na druhé.
A myslím si, že mnohými spôsobmi to bol svet databázových systémov už nejaký čas. Až donedávna veľmi malý posun v podobe pieskových zŕn pohybujúcich sa obrovskou horou piesku vo forme piesočnej duny. V priebehu rokov sa do databázových platforiem dostalo len málo posunov a vďaka mainframe éry stredného rozsahu to bolo pomerne stabilné a solídne prostredie okolo databázových systémov a platforiem. Ale neskoro sme sa stretli s niektorými pomerne dôležitými vecami, ktoré sa týkajú našich obchodných potrieb a našich technických vodičov. Budem cez ne prechádzať.
Domnievam sa, že základný koncept databázy, ako sme ho poznali už mnoho rokov, a ako ste už počuli v predbežnom prehliadači, naši dvaja odborníci, ktorí sú dnes so mnou na telefóne, mali celý život v tento priestor a majú úplnú pravdu v zdieľaní chváliacich sa práv na to, že tam boli, keď to všetko začalo začiatkom 80. rokov. Tento obrovský posun sme však videli v poslednom desaťročí a trošku, a rýchlo nás prejdem skôr, ako ho odovzdám dr. Robinovi Bloorovi.
Prešli sme týmto tým, čo nazývam „väčší, lepší, rýchlejší, lacnejší“ zážitok. Ako som už povedal, definícia databázy sa zmenila. Zmenilo sa aj prostredie, v ktorom museli databázové platformy riešiť výkon, a technické a obchodné požiadavky. Zaznamenali sme tento nárast dopytu po riešeniach, ktoré riešia zložitejšie obchodné alebo zložitejšie technické požiadavky. A tak podľa môjho názoru skutočne rýchly pohľad na to, čo to v skutočnosti znamená, je, že sme sa dostali k takémuto 90. rokom a videli sme, že zavedenie internetu ovplyvnilo databázové technológie a aké to bolo vtedy, keď sme internet zavolali. meradle. Nehovorili sme len o ľuďoch, ktorí sedeli pred terminálmi, o pôvodných typoch terminálov teletypu s vstavanými fyzickými tlačiarňami a 132 stĺpcoch textu vychádzajúcich v papieri. Potom čoskoro zelená obrazovka terminály, dierovanie pomocou klávesníc.
Ale viete, náš svet bol terminály a sériové káble alebo sieťové káble, ktoré sa dlho rozprávali s počítačmi. Potom prišiel internet a tento prudký nárast konektivity, ktorý už nemusel byť pripojený k počítaču. Ak sa chcete dostať do databázového systému, potrebujete iba webový prehľadávač. Databázová technológia sa preto musela dramaticky zmeniť, aby sa vysporiadala so škálou všetkého zo základných technológií vyhľadávacích nástrojov, ktoré sa použili na indexovanie sveta, a uložila index informácií, napríklad na stupnici formátov databázy. Ľudia ako Google a iní za tým účelom poskytli platformu. A všetky nové typy databázových úložísk a dopytovania a indexovania boli vyrobené. A potom sme mali hudobné a filmové stránky.
A potom v roku 2000 sme zaznamenali boom dot-com a to vyvolalo ešte dramatickejšiu explóziu v počte ľudí používajúcich systémy, ktoré boli vždy poháňané databázou nejakej formy. V tejto fáze, relačných databáz, ktoré sa stále vyrovnávajú s najväčšou časťou zaťaženia, sme ich iba položili na väčšie plechovky a my sme šli do veľmi, veľmi veľkých systémov strednej triedy, ktoré používajú platformy Unix od ľudí ako IBM a Sun atď., Boom dot-com len zväčšil a zrýchlil veci z hľadiska hardvéru, výkonu a došlo k niektorým významným zmenám v databázových strojoch, ale z lepšej časti to bolo stále to isté, čo sme mali, dlho.
A potom sme dostali túto éru webu 2.0, ako na ňu odkazujeme. A to bol obrovský posun, pretože zrazu sme potrebovali oveľa jednoduchšie databázové platformy a musela existovať mierka v horizontálnej podobe. A to bol taký významný posun v spôsobe, akým sme sa priblížili myšlienke, čo je to databáza. Podľa môjho názoru sa nám stále darí doháňať. A teraz sa zaoberáme celým týmto problémom, a ja hovorím, že s pozitívnym roztočením, nie negatívnym významom, s týmto tvrdením, ktoré označujeme ako veľké údaje, a obrovskou explóziou, a myslím výbuch. Tento poburujúci posun vertikálne na grafe počtu možností, ktoré máme, keď hovoríme o databáze, a nejakej formy schopnosti relačných dopytov.
A čo je zaujímavé, ja osobne si myslím, že veľké údaje sú skutočne iba špičkou ľadovca. Máme sklon byť trochu nadšení z toho, aký vplyv majú veľké údaje a aké druhy výberov máme teraz k dispozícii. Máme všetko od motorov NoSQL, máme grafické stroje, máme všetky tieto rôzne typy platforiem, na ktoré môžeme hádzať údaje a robiť s nimi veci. Dokonca až do bodu, keď v skutočnosti jedna z prvých rozhovorov, ktorú som mal s Ericom Kavanaghom, ktorý je tu dnes s nami, prebiehala okolo konverzácie týkajúcej sa veci nazývanej Apache Drill, čo je projekt s otvoreným zdrojom, ktorý umožňuje zadávať otázky. údaje vo vnútri modelu rôzne typy údajov: všetko od nespracovaných súborov CSE, ktoré sú umiestnené na pevnom disku, až po súborové systémy HDFS v mierke petabajtov. A viete, umožňuje vám robiť tieto dotazy v štýle SQL na štruktúrované a neštruktúrované údaje všetkých druhov zaujímavých rastlín.
Chystáme sa vidieť, že sa „inteligentná budova“ stane vecou, a radi by sme si mysleli, že máme inteligentné budovy na správu bezpečnosti a tepla, ale hovorím o inteligentných budovách, ktoré vedia oveľa viac o tom, kto ste a kde ste, keď vochádzate a robíte všetky druhy elegantných vecí na tejto úrovni, až po inteligentné mestá - celé ekosystémy na úrovni mesta - ktoré vedia, ako robiť veci inteligentne. A okrem toho máme túto neuveriteľnú vec, o ktorej si nemyslím, že ju niekto na svete úplne pochopil, a to je forma internetu vecí. Počas posledného desaťročia došlo k všetkým týmto rôznym zmenám a trochu, možno zhruba o dve desaťročia, ak ich zaokrúhlime nahor, ktoré podľa môjho názoru ovplyvnili svet toho, čo považujeme za databázy.
Bolo to niekoľko významných vecí, ktoré to dokonca umožnili. Náklady na pevné disky sa dramaticky znížili, a to mnohými spôsobmi umožnilo riadiť niektoré z referenčných architektúr, ako je napríklad model Hadoop, v tom, že berieme veľa údajov a šírime ich na veľa pevných diskov, a robiť s tým inteligentné veci. A podľa môjho názoru to, čo sa podľa môjho názoru stalo, relačnou databázou alebo tradičným modelom jednotky DB. Pamäť RAM sa stala veľmi, veľmi lacnou, a to nám dalo úplne novú príležitosť hrať sa s rôznymi referenčnými architektúrami, napríklad v pamäti, a robiť veci, ako je rozdeľovanie veľmi veľkých množstiev údajov.
Toto nám poskytlo tento malý obrázok, na ktorý sa teraz pozrieme, čo je diagram, ktorý zobrazuje typy platforiem, ktoré sú k dispozícii, ak ste v prostredí veľkých dát. A je to veľmi, veľmi ťažko čitateľné a dôvodom je len toľko informácií. Existuje toľko možností na vytváranie, modelovanie a výrobu spôsobov, ako vložiť údaje do databázových systémov akejkoľvek formy a dopytovať ich a robiť tradičné čítania a zápisy. A nie sú všetci v súlade, v skutočnosti len veľmi málo z nich dokonca spĺňa akýkoľvek štandardný štandardný štýl, stále sa však považujú za databázu. A ukážem vám niekoľko obrazoviek za sekundu, aby som vám dal nejaký kontext okolo toho, čo tým myslím prechodom od 90. a internetového rozsahu na web 2.0, a potom celý rast prostredníctvom veľkých dát. Ak si myslíme, že tento veľký dátový technologický graf krajiny je vzrušujúci, pretože v ňom je veľa možností, poďme sa pozrieť na jednu kľúčovú vertikálu.
Pozrime sa na marketingové technológie. Tu sú možnosti pre systémy správy databáz alebo pre správu údajov iba v mar-tech priestore, teda technológia súvisiaca s marketingom. Teraz to bolo v roku 2011, teda pred niekoľkými rokmi; pred piatimi rokmi to vyzeralo takto. Ak sa len krátko vrátim o jednu snímku, vyzerá to tak, ako vyzerá dnešné dátové prostredie v rôznych značkách a ponukách, ktoré máme v databázových technológiách. Takto vyzerala jedna vertikála pred piatimi rokmi, len v oblasti marketingovej technológie.
Ak sa teraz pozriem na dnešný pohľad, vyzerá to takto a je to úplne nepreniknuteľné. Je to práve táto stena značiek a volieb a tisíce a tisíce kombinácií softvéru, ktorý sa považuje za súčasť databázovej triedy, dokáže zachytávať, vytvárať alebo ukladať a obnovovať údaje v rôznych formách. A myslím si, že teraz vstupujeme do veľmi, veľmi zaujímavého a odvážneho času, kedy ste mohli poznať hlavné značky, poznať päť alebo šesť rôznych platforiem od spoločností Oracle a Informix, DB2 a tak ďalej a byť takmer odborník na všetky značky, ktoré boli k dispozícii približne pred 20 rokmi. Pred desiatimi rokmi sa to trochu zjednodušilo, pretože niektoré značky spadli, a nie všetky značky sa dokázali vyrovnať s rozsahom boomu dot-com a niektoré spoločnosti sa jednoducho rozpadli.
Dnes je absolútne nemožné byť odborníkom na všetky databázové technológie, ktoré existujú, či už ide o relačné databázy alebo štandardné platformy pre správu databáz, ktoré sme poznali v posledných niekoľkých desaťročiach. Alebo pravdepodobne aj modernejšie motory ako Neo4j a také typy. A tak si myslím, že vstupujeme do veľmi statočného sveta, kde je k dispozícii veľa možností, a teraz máme platformy v mierke na horizontálnom základe, buď v pamäti alebo na disku. Myslím si však, že pre tvorcov technológií a obchodných rozhodnutí je to náročné obdobie, pretože potrebujú urobiť veľmi veľké rozhodnutia o technologických komponentoch, ktoré sa v niektorých prípadoch vyskytovali iba v podstate mesiace. Osemnásť mesiacov nie je teraz pre niektoré z najzaujímavejších a nových databázových platforiem s otvoreným zdrojom desivé číslo. Začínajú spájať platformy a stávajú sa ešte novšími a vzrušujúcejšími.
Myslím si, že sa dnes budeme baviť o tom, ako to všetko ovplyvnilo tradičné databázové platformy a ako na ne reagujú, ao typoch technológií, ktoré sú na to uvrhnuté. A s týmto vedomím idem teraz k Dr. Robinovi Bloorovi a získam jeho náhľady. Robin, k tebe.
Robin Bloor: Dobre, vďaka za to. Áno, toto je príliš veľká téma. Myslím, že ak si práve vzal kúsok jednej z ilustrácií, ktorú ti práve ukázal Dez, mohol by si viesť dlhú konverzáciu len o jednej z kúskov. Ale viete, môžete ísť do databázy - pozerám sa na databázy, neviem, od osemdesiatych rokov a databázu sa môžete pozerať rôznymi spôsobmi. A jednou z vecí, ktoré som si myslel, že by som mal dnes urobiť, je hovoriť o dôvode, prečo sa na úrovni hardvéru vyskytli rušivé veci. A musíte pamätať na to, že na úrovni softvéru sa skutočne stalo strašne veľa rušivých vecí, takže to nie je úplný obraz ničoho, je to len hardvérová vec.
Nechcel som hovoriť príliš dlho, len som ti chcel dať hardvérový obraz. Databáza bola schopná získavať údaje a pokrývala CPU, pamäť a disk, a to sa dramaticky zmenilo. A dôvod, prečo hovorím, bolo to, že som sa naučil porozumieť databáze z hľadiska toho, čo ste vlastne urobili. Viete, existuje rozdiel v latencii medzi údajmi skutočne na CPU a údajmi načítanými do CPU z pamäte a dátami načítanými z disku do pamäte a cez CPU. A staré architektúry databázy to len skúšali vyvážiť. Viete, oni len hovorili: „No, ide to veľmi pomaly, údaje na disku sa ukladajú do vyrovnávacej pamäte, takže sú v pamäti. Pokúsime sa to urobiť skutočne presne tak, aby skutočne dobrá časť údajov, ktoré požadujeme, bola už v pamäti. A údaje pošleme na procesor tak rýchlo, ako to vieme. “
A databázy boli napísané v dávnych dobách, stroje sa písali pre malé klastre. A teraz pre ignoranta paralelizmu. Pretože ak sa chystáte z klastra získať nejaký výkon, musíte súčasne robiť rôzne veci. Paralelizmus je súčasťou hry, nič podobné súčasnému stavu. Len prejdem tým, čo sa stalo.
Najskôr disk. Disk je skutočne za nami. Pokiaľ ide o databázy, je to skoro koniec. Myslím si, že existuje veľa súvislostí s archiváciou údajov, a dokonca aj veľmi veľké dátové jazerá, ktoré bežia na Hadoope, najhorší spinningový disk je dnes pravdepodobne životaschopný. Skutočne bol problém s rotujúcim diskom taký, že rýchlosť čítania sa príliš nezlepšila. A keď CPU šlo hore, Mooreove zákonné rýchlosti, druh rádu, rýchlejších každých šesť rokov. A spomienka po tom nasledovala, potom títo dvaja primerane držali krok so sebou, nebolo to celkom hladké, ale urobili to.
Ale náhodné čítanie na disk, na ktorom hlava letí okolo disku, mám na mysli okrem iného aj fyzický pohyb. A ak robíte náhodné čítanie z disku, je to neuveriteľne pomalé v porovnaní s čítaním z pamäte, je to ako 100 000-krát pomalšie. A pomerne nedávno sa väčšina architektúr databáz, na ktoré som sa pozrel v akejkoľvek hĺbke, skutočne čítala iba z diskov. Naozaj chcete, tak či onak, iba ukladať do vyrovnávacej pamäte čo najviac z disku a vytiahnuť ho z tohto pomalého zariadenia a umiestniť ho na rýchle zariadenie. A s tým môžete robiť veľa šikovných vecí, ale je to koniec koncov.
A disky SSD alebo flash disky sú skutočne také, aké sú, veľmi rýchlo nahrádzajú rotujúce disky. A to sa znova úplne zmení, pretože spôsob, akým sú údaje usporiadané na disku, je usporiadaný podľa spôsobu fungovania disku. Je to vlastne o hlave pohybujúcej sa po rotujúcej ploche, vlastne o viac hlavách pohybujúcich sa po viacerých rotujúcich povrchoch a o vyzdvihovaní údajov v ich priebehu. Jednotka SSD je len blok vecí, ktoré si môžete prečítať. Myslím tým, že prvá vec je, že všetky tradičné databázy boli skonštruované pre rotujúci disk a teraz sa upravujú pre SSD. Nové databázy môžu pravdepodobne - ktokoľvek, kto práve teraz píše novú databázu, pravdepodobne bude ignorovať rotujúci disk a vôbec o tom nepremýšľa. Ale spoločnosť Samsung, hlavný výrobca SSD, nám hovorí, že SSD sú v skutočnosti na Mooreovej zákonnej krivke.
Myslím, že už boli asi trikrát alebo štyrikrát rýchlejšie ako rotujúci disk, ale teraz sa v podstate každých 18 mesiacov stanú oveľa rýchlejšie. Dvojnásobná rýchlosť a 10 krát rýchla až šesť rokov. Keby to však bolo len to, nie je to tak, ako vám poviem za chvíľu. Spinning disk sa samozrejme stáva archivačným médiom.
O pamäti. Najprv prvé, RAM. Pomer CPU medzi RAM na CPU sa neustále zvyšuje. A to, samozrejme, prináša omnoho vyššiu rýchlosť, pretože akre pamäte, ktoré teraz môžete mať, dokážu oveľa viac uložiť. Čo to vlastne znamená, je to druh tlaku na aplikácie typu MLTP alebo aplikácie na čítanie v náhodnom čítaní, pretože je jednoduchšie ich uspokojiť, pretože teraz máte veľa pamäte, a takto môžete ukladať do vyrovnávacej pamäte všetko, čo je pravdepodobne bude načítaná do pamäte. Ale narazíte na problémy s väčšou hromadou dát, takže veľké dáta v skutočnosti nie sú také jednoduché.
A potom máme Intel s 3D Xpoint a IBM s tým, čo nazývajú PCM, čo je pamäť s fázovou zmenou, dodávajú niečo, o čom veria - je to aspoň 10-krát rýchlejšie ako súčasné SSD a veria, že to dostane veľmi blízko k rovnakej rýchlosti ako RAM. A samozrejme je to lacnejšie. Takže predtým ste mali túto databázovú štruktúru CPU, pamäte a disku a teraz sa posúvame smerom k štruktúre, ktorá má štyri vrstvy. Má CPU, pamäť alebo RAM a potom tento druh rýchlejšej pamäte ako SSD, ktorá je v skutočnosti energeticky nezávislá, a potom SSD. A tieto nové technológie sú neprchavé.
A je tu memristor spoločnosti HP, ktorý ešte nie je známy, pretože bol ohlásený asi pred siedmimi rokmi, ale ešte sa neobjavil. Hovorí sa však, že spoločnosť HP trochu zmení hru aj s pamätníkom, takže máte iba novú pamäťovú situáciu. Toto nie je ako keby sme mali rýchlejšie veci, akoby sme dostali úplne novú vrstvu. A potom máme skutočnosť, že prístup SSD, môžete si ho prečítať paralelne. Nie je možné čítať točiaci disk paralelne, okrem toho, že máte veľa rôznych točivých diskov. Ale blok SSD, môžete skutočne čítať paralelne. A pretože to dokážete prečítať paralelne, ide to oveľa rýchlejšie ako jeho jednoduché rýchlosti čítania, ak ste skutočne nastavili viac procesov v rámci rôznych procesov na jednom CPU a mali ste na to len SSD.
Odhaduje sa, že tým dosiahnete takmer rýchlosť RAM. A všetko, čo sa tým hovorí, je, že budúcnosť architektúry pamäte je nejasná. Realita je taká, že rôzni dominantní predajcovia, nech sa ukáže, ktokoľvek sa ukáže, pravdepodobne určia smer hardvéru. Ale nikto nevie, kam v tomto okamihu ide. Hovoril som s niektorými databázovými inžiniermi, ktorí hovoria: „Nebojím sa toho, čo sa deje, “ ale nevedia, ako ho optimalizovať od začiatku. A vždy ste to urobili, takže je to zaujímavé.
A potom je tu CPU. Viacjadrové procesory neboli iba viacjadrové procesory. Máme tiež značné objemy vyrovnávacej pamäte L1, L2 a L3, najmä L3, čo je až, ja neviem, desiatky megabajtov. Môžete tam dať veľa, viete. Preto môžete čip skutočne použiť ako médium na ukladanie do pamäte cache. To zmenilo hru. A určite, pri spracovaní vektorov a kompresii údajov to mnohí predajcovia skutočne urobili a tieto veci presunuli do procesora, aby sa všetko v procesore zlepšilo oveľa rýchlejšie. Potom zistíte, že CPU s GPU sú skutočne dobré na urýchlenie analytiky. A pri určitých druhoch otázok sú skutočne veľmi dobré, záleží to len na tom, aký je váš dopyt.
Môžete vytvoriť dosky s procesormi a GPU, alebo ako AMD robia práve teraz, vytvoríte niečo, čo sa nazýva APU, čo je druh manželstva medzi procesorom a GPU; má na to oba druhy schopností. Takže to je iný druh procesora. A potom nedávne oznámenie spoločnosti Intel, že chystajú dať čip na FPGA, tento druh sa mi podaril. Pomyslel som si: „Ako sa to stane, čo sa stane?“ Pretože ak máš možnosť CPU, GPU a máte možnosť CPU, FPGA - a mimochodom, ak naozaj chcete, môžete na tú istú dosku umiestniť CPU a GPU a FPGA. Nemám potuchy, ako by ste vlastne niečo takýmto spôsobom spustili, ale viem o spoločnostiach, ktoré robia takéto veci, a dostávajú veľmi, veľmi rýchle odpovede na otázky. Toto nie je niečo, čo bude ignorované, je to niečo, čo budú používať etablovaní predajcovia a pravdepodobne aj noví dodávatelia. DBMS boli vždy paralelné, ale teraz sa paralelné možnosti práve explodovali, pretože to vám umožňuje paralelizovať to s tým, s tým rôznymi spôsobmi.
Nakoniec zväčšiť alebo zmenšiť? Rozšírenie je skutočne najlepším riešením, ale na jednu vec. Dosiahnete omnoho lepší výkon uzla, ak dokážete úplne optimalizovať výkon procesora a pamäte na disku v jednom uzle. A budete používať menej uzlov, takže to bude lacnejšie, však? A bude to jednoduchšie spravovať. Žiaľ, je to konštrukcia závislá od hardvéru a pri zmenách hardvéru je to čoraz menej možné, pokiaľ vaši inžinieri nebudú schopní bežať tak rýchlo, ako sa mení hardvér. Máte problémy s pracovným zaťažením, pretože keď sa rozširujete, robíte rôzne predpoklady o tom, čo bude pracovné zaťaženie robiť.
Ak nastavíte mierku, to znamená, že ak vaša architektúra kladie dôraz na mierku pred rozšírením - v skutočnosti musíte urobiť obidve kroky, len jednu zdôrazníte. Potom získate lepší výkon siete, pretože s ňou bude pracovať aj architektúra. Z hľadiska hardvéru to bude drahšie, pretože bude existovať viac uzlov, ale bude tu menšie problémy s pracovnou záťažou a flexibilnejší dizajn.
A ja som si myslel, že to hodím dovnútra, pretože ak skutočne premýšľate o všetkých zmenách hardvéru, ukázal som prstom a potom ste premýšľali o tom, ako sa chystáte zväčšiť a zväčšiť veľkosť týchto vecí? Potom si uvedomíte, že databázoví inžinieri sú podľa môjho názoru prinajmenšom dobre platení. Takže ak uvažujete len o hardwarovej vrstve, problémy s databázou sú jasné. Teraz to odovzdám Bertovi, ktorý nás všetkých prinúti vzdelať sa.
Eric Kavanagh: To je všetko! Bert?
Bert Scalzo: Ďakujem veľmi pekne. Dovoľte mi dostať sa priamo do týchto snímok. Musím prejsť mnohými snímkami, takže na niektorých z nich môžem ísť pomerne rýchlo. Budeme hovoriť o tomto „Forward Momentum: Moving Relational Beyond Traditional“. Už to nie je databáza vášho otca. Veci sa zmenili a ako už povedal predchádzajúci rečník, krajina sa za posledných šesť až sedem rokov radikálne zmenila.
Sám robím databázy od polovice 80. rokov. Napísal som knihy o Oracle, SQL Server, benchmarkingu a niekoľkých ďalších veciach. „Svet sa mení veľmi rýchlo. Veľký už nebude biť. Bude to rýchle biť pomaly. “Pridal som„ prispôsobiť sa “. To bolo od Ruperta Murdocha. Naozaj verím, že to bude pravda. Nebudete schopní robiť databázové veci tak, ako ste to robili pred 10, 15, 20 rokmi. Budeš to musieť urobiť tak, ako to chce firma teraz.
Pokúsim sa zostať trochu všeobecným v tom, čo prezentujem, ale väčšinu funkcií, o ktorých hovorím, nájdete v Oracle, nájdete v SQL Server, MySQL, MariaDB a niektoré ďalšie veľké hráči. Revolúcia relačnej databázy, opäť trochu súhlasím s predchádzajúcimi rečníkmi. Ak sa pozriete okolo roku 2010, šli sme z červeného závodného auta na žltý závodný automobil. Došlo k významnej zmene a do roku 2020 sa domnievam, že uvidíte ďalšiu radikálnu zmenu. Sme vo veľmi zaujímavom čase.
Táto snímka je teraz kľúčom, a preto som tam dala kľúč. Deje sa to všetko a na ľavej strane mám technológiu a na pravej strane podnikám. A otázkou je, ktorý z nich spôsobuje ktorý a ktorý z nich podporuje ktorý? Máme všetky tieto hardvérové zmeny: disky zostupujúce, veľkosť disku stúpajúca, nové typy diskov, takže to boli pokryté predchádzajúcimi reproduktormi. Cena pamäte klesá, všetky tieto novšie verzie databáz. Na pravej strane však máme ochranu a súlad údajov, skladovanie údajov, obchodné spravodajstvo, analýzy, povinné uchovávanie údajov. Obidve strany rovnice jazdia a obe strany rovnice využijú všetky tieto nové vlastnosti.
Najprv máme náš typický spinningový disk SAS, ktorý má teraz už 10 terabajtov. Ak ste ešte nevideli, spoločnosť Western Digital, HGST má to, čo nazývajú ich hélium, práve teraz je to okolo 10 terabajtov. Náklady na rotujúci disk sú dosť nízke. Ako už bolo spomenuté vyššie, disky SSD môžete získať až na približne dva terabajty, ale spoločnosť Samsung má už čoskoro k dispozícii 20-terabajtovú jednotku. Náklady sa stávajú rozumnými. Jedna vec, ktorú budem hovoriť o ostatných, nie je, koncept flash diskov. PCIe, to je PCI Express, oproti NVMe, možno ste aj nemuseli počuť o tomto energeticky nezávislom expresnom pamäti. V podstate bude NVMe náhradou za SAS a SATA a je to naozaj viac komunikačný protokol ako čokoľvek iné. Tieto disky sú však teraz až asi tri terabajty.
Možno ste tiež videli, že niektoré jednotky SAS teraz prichádzajú s konektormi U.2, čo je trochu iný konektor ako SAS alebo SATA, ktorý podporuje NVMe so štandardným diskom - disk ho samozrejme musí tiež podporovať. A potom SATA s konektormi M.2 a tie začínajú získavať NVMe. V skutočnosti existujú predajcovia notebookov, ktorí v súčasnosti predávajú notebooky, ktoré obsahujú flash disk NVMe, a tieto veci budú kričať v porovnaní s technológiou, ktorú ste predtým používali.
Mnoho ľudí nevie, aké sú všetky tieto rôzne záblesky. Ak sa pozriete v pravom dolnom rohu, je to príklad M.2. Môžete povedať: „Nuž, vyzerá to podobne ako jednotka mSATA vľavo od nej.“ Ale ako vidíte, v kolíkoch sú dve medzery oproti jednej a je o niečo väčšia. A M.2 môže tiež prísť v troch rôznych veľkostiach.
A potom blesk PCI Express a blesk NVMe. Teraz je NVMe flash tiež PCI Express, ale PCI Express je zvyčajne stále algoritmom radiča typu SAS alebo SATA, ktorý bol napísaný pre rotujúci disk, a NVMe sú algoritmy alebo techniky, ktoré boli napísané špecificky pre flash. A znova, všetky tieto uvidíte.
NVMe ponúka pomerne málo vecí. Myslím si, že dve najväčšie zlepšenia sú, v pravom hornom rohu, je latencia znížená až o 70 percent. Vlastne som videl ešte vyššie. Okrem toho, ak sa pozriete v pravom dolnom rohu, keď váš operačný systém hovorí s diskom NVMe, prechádza oveľa menším množstvom softvéru. V podstate prechádzate ovládačom NVMe, ktorý je teraz súčasťou operačného systému, a hovorí priamo k médiu. Existuje veľa dôvodov, prečo táto technológia radikálne zmení svet databáz.
A mnohokrát, ľudia povedia: „Ako rýchlo je NVMe?“ Viete, staré dobré časy, späť v roku 2004 a predtým, sme boli nadšení, ak sme mali Ultra-320 SCSI, 300 megabajtov za sekundu. Dnešné rýchlosti, mnohí z vás pravdepodobne používajú vlákno alebo InfiniBand a tí špičkoví. NVMe tam vpravo, začína tam, kde končí súčasná technológia. Čo sa mi páči, je, že PCI Express 3.0 s osemprúdovým spojením začína na takmer 8000 a bude stúpať, keď dostaneme novšie verzie PCI Express, verzie štyri a tak ďalej. NVMe nemá kam ísť, okrem hore.
Čo sa teraz v databáze mení? Teraz v pravom hornom rohu mojich snímok uvádzam obchodné dôvody, ktoré sa podľa mňa javia ako technológia. V takom prípade databázy začínajú ponúkať kompresiu v dôsledku skladovania údajov a regulačných dôvodov povinného uchovávania údajov. Teraz niektoré databázy ponúkajú kompresiu ako doplnok, iné ju ponúkajú ako zabudovanú do štandardu, povedzme podnikové vydanie svojej databázy, a napriek tomu niektoré databázy, ako napríklad Oracle, by mohli mať ešte lepšiu verziu kompresie, ktorá je v povedzme ich platforme Exadata, takže vlastne postavili hardvér, ktorý podporuje veľmi špecializovanú kompresiu a ktorý napríklad v Exadata získa 40x kompresnú rýchlosť, a preto je veľmi významný. A myslím si, že ide o povinné uchovávanie údajov, ľudia jednoducho chcú údaje dlhšie. Podniky, aby mohli robiť analýzy a BI, potrebujú údaje za posledných 5, 10, 15 rokov.
Ďalšou funkciou, ktorá sa začala objavovať približne v období rokov 2008, 2009, bolo rozdelenie na oddiely. Znovu to nájdete v databázach ako Oracle, SQL Server a v oboch z nich musíte za to platiť. V systéme Oracle musíte kúpiť možnosť rozdelenia a na serveri SQL Server musíte byť v edícii dátového centra. Je to vaša tradičná technika rozdelenia a dobývania a robíte to, že máte koncept logického veľkého stola hore a keď sa dostane na disk, v skutočnosti sa rozdelí na vedrá. A vidíte, že tieto skupiny sú usporiadané podľa určitých kritérií na oddelenie, zvyčajne odkazovaných alebo nazývaných vaša funkcia rozdelenia, a potom tiež môžete na niektorých databázových platformách rozdeliť podrozdeľ a môžete ísť ešte ďalej.
Opäť si myslím, že to viedlo k ukladaniu údajov a povinnému uchovávaniu údajov. V niektorých z týchto databáz môžete mať až 64 000 diskových oddielov a v niektorých iných databázach verím až 64 000 diskových oddielov. To vám umožní rozdeliť vaše údaje na spravovateľné časti. Tiež rozdelíte indexy; je to možnosť, ktorú nemusíte, ale môžete tiež rozdeliť svoje indexy. Jedným z dôvodov, prečo to urobiť, môže byť to, že máte posuvné okno údajov. Chcete zachovať údaje za 10 rokov, ale aby ste mohli vynechať indexy, aby sa spustilo večerné dávkové zaťaženie, nechcete nechať vynechať indexy na každom jednom riadku, iba na riadkoch, ktoré sú v aktuálnej skupine. Rozdelenie na oddiely je v skutočnosti veľmi dobrý administratívny nástroj, aj keď väčšina ľudí si myslí, že jeho veľkou výhodou je odstránenie plánovaných diskových oblastí v rozvrhu, a tým aj zrýchlenie vašich dopytov. To je skutočne druh polevy na torte.
Teraz ste už pravdepodobne počuli o orezávaní a pravdepodobne si myslíte: „No, prečo ste sem umiestnili tento sklz?“ Toto je jedno z tých NoSQL - to je jedno z tých prostredí typu Hadoop. Oracle 12c vydal dve, ktoré ešte nie sú G8, ale ktoré sa v nich zobrazujú alebo zobrazujú, skutočne v nich majú ochranný kryt. Budete mať tradičný databázový systém, ako je Oracle, a budete sa môcť ostreľovať ako vy v modeli Hadoop, takže budete mať ďalšiu techniku rozdelenia a dobývania, ktorá rozdelí vaše tabuľka po riadkoch do zoskupení podľa uzla a bude to - presne ako to, čo vidíte v niektorých vašich databázach NoSQL. A vlastne MySQL, môžete to dosiahnuť do značnej miery pomocou jednej zo svojich techník klastrovania, ale prichádza to k tradičnej databáze a myslím, že Microsoft nebude chcieť zostať pozadu. Tieto dve hry skákacie žaba po celý čas, takže by som čakal, že uvidím strunu v ďalšej verzii servera SQL.
Správa životného cyklu údajov, opäť povinné uchovávanie údajov, ale aj pre obchodné informácie a analýzy. Naozaj, toto je technika rozdelenia a dobývania a spravidla to robia DBA manuálne, a to: „Uchovávam údaje za tento rok na rýchlych diskoch, údaje za minulý rok na mierne pomalších diskoch, možno idem aby ste si udržali posledné dva roky pred tým na ešte pomalších diskoch, a potom budem mať nejakú metódu archivácie. “Spravidla to už nie je nahrávané, je to zvyčajne - máte nejaký druh sieťového úložiska alebo nejaké zariadenie, ktoré má veľa úložného priestoru a je, viete, nákladovo efektívne, ale stále sa točí disk.
A tak teraz môžete skutočne - v systéme Oracle aj na serveri SQL Server - zakúpiť možnosť, kde definujete pravidlá, a to sa deje automaticky na pozadí. Už nemusíte písať skripty, nemusíte nič robiť. A ak ste už videli SQL Server 2016, ktorý práve vyšiel prvý jún, je tu nová funkcia s názvom „Stretch Databases“, ktorá v podstate umožňuje robiť - v pravom dolnom rohu - môžete sa pohybovať z viacerých vrstiev priamo do cloudu a opäť je to funkcia, ktorá je zabudovaná do databázy, jednoducho poviete niečo ako: „Ak sú údaje staršie ako 365 dní, presuňte ich do cloudu a viete, robte to automaticky pre mňa.“
Toto bude skutočne skvelá vlastnosť, v skutočnosti si myslím, že to môže byť to, čo uvidíme v budúcnosti, čo znamená, že budete mať hybridné databázy, kde si ponecháte nejaké miestne a niektoré v cloude. Predtým si ľudia mysleli: „Och, budem robiť buď na premise, alebo budem robiť na cloudu.“ Teraz vidíme manželstvo oboch technológií týmto hybridným spôsobom. Myslím, že to bude dosť veľké a spoločnosť Microsoft sa tam dostala ako prvá.
Redukcia je spôsobená ochranou údajov a ich dodržiavaním. Teraz, za starých dobrých čias, sme mohli povedať: „Hej, vývojár aplikácií, keď to zobrazíte v prehľade, keď to zobrazíte na obrazovke, tu je niekoľko bezpečnostných vecí, ktoré by ste mali skontrolovať, a prosím, viete, zobrazte iba údaje mali by vidieť alebo maskovať alebo redigovať údaje, ktoré nemajú vidieť. “No, ako je obvyklé, keď ich vytlačíte do aplikácie, neurobí sa to na jednom mieste, takže sa to urobí inak alebo nebude. Na niektorých miestach sa to nestačí. A tak teraz máte túto schopnosť v databázových systémoch.
Teraz v serveri SQL Server 2016 je táto funkcia zabudovaná, takže podľa môjho názoru to ešte nie je voliteľná nákladová položka, ktorá by mala byť pridaná do dátového centra. a v systéme Oracle 12 musíte kúpiť doplnok pre správu ich životného cyklu, ale toto je niečo nové a opäť to poháňa podnikanie. A hlavne preto, že teraz uchovávate toľko údajov a robíte údaje, ktoré sa týkajú získavania údajov, takže BI a analytici, musíte vedieť, kto pristupuje k akým údajom a ubezpečiť sa, že majú povolené len vidieť, čo môžu ich vidieť.
Podobne sa znova pozrite na to, ochranu údajov a súlad s nimi. Zistíte, že veľa databázových systémov teraz vytvára kompresiu, alebo je mi ľúto, šifrovanie priamo do databázy a čo je dôležité pre toto šifrovanie, ak sa pozriete na šípku nadol a šípku nahor na diagrame, ktorý ju zapíše na disk šifrovaný a potom ho načíta späť do pamäte a dešifruje ho. V skutočnosti je to jeden model, je tu ďalší model, ktorý by ste, v skutočnosti, robili, iba ak komunikuje tieto údaje v sieti so skutočnou klientskou aplikáciou.
V takom prípade by dokonca na databázovom serveri v pamäti mohlo byť šifrované a dešifrované, iba ak by bolo odoslané do klientskej aplikácie. Existujú dva rôzne modely a nájdete ich v databázach. Jedna z databáz, ktorá to práve pridala, bola MariaDB vo svojej verzii 10.X; Verím, že sú teraz na 10.1 alebo 10.2. A skutočne som urobil nejaké benchmarking pre toto šifrovanie, a aby som získal toto šifrovanie, zažil som len asi 8 percentné zníženie výkonu alebo rýchlosti. V teste porovnávania to šifrovanie príliš nespôsobilo, a preto je to veľmi užitočná funkcia.
Teraz sme sa už zmienili o flash pamäti a SSD diskoch a podobne. Jednou z funkcií, ktoré máte v systémoch Oracle a SQL Server, ktorú si mnohí ľudia neuvedomujú, je, že si môžete vziať flash alebo SSD, ktorý je na vašom databázovom serveri, a do databázy môžete povedať: „Použite to, akoby to bola pamäť. Zaobchádzajte s RAM ako s preferenciou, ale predstierajte, že je to pomalá pamäť a používajte ju ako rozšírenú vyrovnávaciu pamäť. “Teraz v SQL Server 2014 to vyšlo a nazývalo sa„ rozšírenie vyrovnávacej pamäte “, je to zadarmo. V spoločnosti Oracle vyšla v 11g R2 a nazývala sa to „Database Flash Cache“ a bola tam tiež bezplatná.
Moja rada je však otestovať túto funkciu opatrne. Zakaždým, keď zväčšite vyrovnávaciu pamäť, keď idete na vyhľadávanie, trvá dlhšie. Ak vložíte kartu s tromi terabajtmi a poviete do databázy „Pridajte to do svojej pamäte“, v skutočnosti by ste zistili, že sa niečo spomalilo kvôli času na nahliadnutie a zistenie, že je vo flashi, či je špinavý alebo čisté? Existuje bod, ktorý znižuje návratnosť. Moja rada je opäť vyskúšať túto jazdu, zistiť, čo pre vás funguje, ale opäť, je to vo vašej databáze a v prípade Oracle, v SQL Server aj Oracle, je to už pár rokov.
A to nás privádza k starému otcovi, ktorý bol databázou v pamäti, a to preto, že ceny databáz klesli. Ďalším dôvodom, prečo by ste si pravdepodobne mysleli, že sa to stalo, je veľa analytikov, ktorí požadujú, aby boli údaje veľmi rýchlo prístupné, a preto musí byť v pamäti. Všimnite si, že algoritmy, ktoré databázy používajú na prístup k týmto údajom, na ich kompresiu, na ich šifrovanie, na ukladanie, viete, že v niektorých prípadoch môžu niektoré databázy naďalej ukladať do pamäte ako riadok.
V niektorých prípadoch to môžu niektoré databázy rozdeliť na stĺpec a dôvodom, prečo to robia, je to, že dostanú oveľa vyššiu úroveň komprimácie niekde okolo 11 až 12X uložením v poradí stĺpcov verzus riadok. Prvýkrát sa objavil v serveri SQL Server 2014, nazýva sa „Hekaton“. V SQL Server 2016 sa radikálne zvýšil, uvidia ho s odkazom na rôzne názvy a vyšlo v systéme Oracle 12c; Hovorím tu druhé vydanie, nie R2. Vydali sa dve rôzne verzie Oracle 12c, 12.1.0.1 a 12.1.0.2. Je to druhé vydanie verzie R1 databázy.
A ako ho definujete, objekt v pamäti je v oboch databázach podobný. Tu vidíte v pravom hornom rohu, vytváram SQL Server a vidíte, že hovorí, že optimalizovaná pamäť a trvanlivosť sú iba schémy. Nebudem obchádzať všetky tieto významy syntaxe a v systéme Oracle je to vlastne ešte jednoduchšie, stačí zmeniť tabuľku a povedať alebo nie v pamäti, a môžete to zmeniť. Dnes môžem povedať, že je to v pamäti a zajtra nie, a preto je veľmi flexibilná.
Urobil som niekoľko testov na Oracle s tabuľkami v pamäti, mal som nejaké testy, ktoré trvalo takmer 40 minút, aby som bežal, tam hore v hornom riadku. Teraz je dôležité, keď som sa dostal na spodné dva riadky, predĺžil som alebo znížil dobu behu, povedal by som, približne na päť minút, a keď som sa pozrel na kompresný faktor, údaje v pamäti boli v skutočnosti 3, 6 na 4, 6 krát menšie. To je dôležité, pretože v tomto prípade som používal formát orientovaný na stĺpce a kompresiu. A hádajte čo? Vlastne som vybavoval takmer štyri až päťkrát toľko údajov, aké som mal v pamäti. Nielenže som získal výhodu in-memory, výhodu stĺpcovo orientovaného, ale aj výhodu oveľa väčšieho množstva dát - až päťkrát viac dát v pamäti cache, takže je to dosť výkonná technika. Znova Oracle a SQL Server, na ktoré sa chcete pozrieť, sú skutočne skvelými funkciami. A s tým si myslím, že to otvorím otázkam.
Eric Kavanagh: No, Bert, v prvom rade si bol veľmi nesebecký v tomto úžasnom vzdelaní. Mohli by ste sa na chvíľu porozprávať o tom, čo robíte? Pretože máte nejakú podpornú technológiu, ktorá môže uľahčiť to, o čom ste hovorili. Len si na chvíľu povedzte, čo robíte, a potom dajte Deza a Robina do rovnice.
Bert Scalzo: Áno, pracujem pre spoločnosť s názvom IDERA. Sme v Texase, so sídlom v Houstone a momentálne sedím v Austine, ale sídlim v Dallase. Vyrábame databázové nástroje a vyrábame databázové nástroje, ktoré vám pomôžu vyriešiť problémy. Tento problém by mohol byť niečo také jednoduché ako produktivita. V takom prípade máme k dispozícii nástroj s názvom DBArtisan, ktorý vám umožní vykonávať administratívne úlohy databázy a je to jeden z nástrojov, ktorý vám umožní spravovať 12 rôznych databázových platforiem. Dokážem spravovať SQL Server, môžem spravovať Oracle, môžem spravovať MySQL, DB2, Postgres a používam jeden nástroj, jeden spustiteľný súbor, jeden dizajn GUI a jednu konzistentnú sadu pracovných postupov. Vyrábame tiež nástroje na zabezpečenie súladu. Máme nástroj s názvom SQL Compliance Manager, ktorý vám pomôže splniť vaše potreby týkajúce sa súladu. Ďalší nástroj s názvom SQL Security, takže sa snažíme vytvoriť nástroje, ktoré vám pomôžu byť efektívne a efektívne, a čo je naozaj pekné, ak idete na našu webovú stránku, máme tu veľa freeware, takže ak nič iné, choďte na stiahnutie - Myslím, že máme ako 20 alebo 25 freewares. Tam sú niektoré naozaj dobré freeware veci, ako je to, že je SQL Server a Windows Help Check, ktoré sa v podstate budú zaoberať tým, čo máte, a povedia vám, či máte problémy alebo veci a je to úplne zadarmo.
Eric Kavanagh: A ty naozaj …
Bert Scalzo: Určite prvé veci -
Eric Kavanagh: Hovoríte dnes o heterogenite na trhu, vždy existovala určitá rovnica univerzálnej rovnice, ktorú si vlastne pamätám na rozhovor s Dr. Michael Stonebrakerom v roku 2005, keď pokračoval ďalej. veľký tlak, ktorý hovoril o verdikte o pohybe databázy orientovanom na stĺpce, a hovoril všetko o tom, ako na mnoho rokov dominoval univerzálny vzťahový model a predpovedal, že sa to všetko zmení, a chlapec mal pravdu že. Teraz máme toto skutočne rozmanité a zaujímavé prostredie s množstvom rôznych možností a príležitostí, ale potrebujete niekoho, kto to všetko zvládne, a zdá sa mi, že vaša spoločnosť sa veľmi dobre zameriava na riešenie matematických problémov, čím je aktivátorom hlavička heterogenity, správne?
Bert Scalzo: Určite. Myslím tým, že vždy budú DBA, ktorí hovoria: „Nechcem používať nástroj GUI, robím všetko pomocou skriptov, viete? Myslia si, že sú nadštandardným typom DBA, a to je v poriadku, ale pre väčšinu z nás ľudí chceme iba urobiť prácu a - viete, na písanie dokumentov používam program Microsoft Word. Na svoju e-mailovú adresu používam program Microsoft Outlook. Myslím, že mám nástroje na vykonávanie úloh. Budujeme rovnaký druh koncepcie, vytvárame nástroje pre správcov databáz a vývojárov, aby sme im pomohli zamerať sa na to, čo chcú, a nie na to, ako to musia urobiť.
Eric Kavanagh: To dáva zmysel, ale dovoľte mi, aby som vás odovzdal našim odborníkom a ľudia sa môžu bez obáv ponoriť. Máme publikum pár pripomienok. Možno, Dez, pár otázok a Robin pár otázok?
Dez Blanchfield: Iste. Jedna z prvých otázok, ktoré sa na vás chcem hodiť, vzhľadom na obrovské množstvo skúseností, ktoré ste dostali, vidíte čoskoro okamih, keď sa niečo z toho spomalí? Alebo si myslíte, že sme naozaj len na začiatku tejto neustále sa meniacej línie zmien? Myslím si, že jeden z najväčších problémov, ktorým spoločnosti čelia, a potom vždy ľudia, ktorí sa snažia podporovať technológiu, ktorá sa poskytuje týmto spoločnostiam na riadenie ich podnikania, je, že miera zmeny je taká dramatická, že jednoducho nedokážu držať krok so všetkými. rôzne funkcie a softvér a systémy a systémy a štruktúry a architektúry a nový kód, ktorý sa objavuje, a potom hardware pod ním, vidíte okamžitú rýchlosť zmien, ktorá sa vôbec spomaľuje? Myslím tým, že sa zaoberáte tak širokou škálou platforiem s celým balíkom IDERA, ideme čoskoro spomaliť, alebo sme už nejako tak dlho na tomto šialenom nákladnom vlaku?
Bert Scalzo: Myslím, že sme na prvých 20 percentách tejto rastovej krivky a máme pred sebou ešte dlhú cestu a existujú dve veci, ktoré ju tlačia. Táto technológia sa neustále vyvíja. Spomenuli ste niektoré nové typy pamätí, ktoré vyjdú, bude to fantastické. Spoločnosť Samsung tu bude čoskoro skutočne mať 20-terabajtovú jednotku flash. To zmení veci. Máme všetky tieto databázy NoSQL a cloud, to bude len pokračovať. Jedna vec, ktorá je trochu zábavná, je, keď sa pozerám na databázy, ako sú Oracle a SQL Server a niektoré ďalšie, už to nie sú relačné databázy. Dokážem vložiť neštruktúrované údaje do Oracle a napriek tomu udržiavať súlad ACID. Keby ste mi to povedali už pred 20 rokmi, povedal by som, že ste na drogách.
Dez Blanchfield: Áno, áno, sú v pohode. Dokonca aj teraz tie motory, ktoré majú celkom pekné zvislé vertikály ako GIS, sú teraz lepšie ako pôvodné schopnosti. Uviedli ste niekoľko skvelých komentárov o výzvach, ktorým čelia DBA, a o rôznych časoch DBA, ktoré dúfame, že uvidíme všade, ale ako vyzerá svet s takou vrstvou podnikania, s ktorou sa zaoberáte? Myslím tým, že sú to ľudia, ktorí používajú rôzne platformy od vášho diagnostického manažéra, k nástrojom inventarizácie a až po nižšie uvedené kroky k defraggingu, ako sa DBA vyrovnávajú s touto zmenou a ako sa líšia - viete, čo robia s vašimi nástrojmi, aby sa vysporiadali s týmto významným posunom v ich krajine?
Bert Scalzo: Dobre, vrátim sa takmer pred 20 rokmi, potom poviem, že DBA riešia veľmi špecifickú úlohu v organizácii. Spravidla pracujú s jednou databázovou platformou, možno s dvoma, a spravovali pomerne malý počet databáz. Teraz rýchlo vpred k dnešnému dňu a správcovi databázy, v skutočnosti bude poznať 10 databázových platforiem. Spravuje, a to nie je vtip, v niektorých prípadoch tisíce databáz; to je viac na svete SQL Server alebo MySQL. Ale stále vo svete Oracle mohli spravovať stovky databáz. A tak vyjdú všetky tieto nové funkcie, majú všetky tieto nové platformy a majú všetky tieto databázy, za ktoré sú zodpovedné. Hľadajú nástroje, ktoré im umožnia produktivitu a tiež im pomôžu naučiť sa niektoré veci.
A ukážem vám príklad - ak chcem rozdeliť tabuľku, je to dosť temná syntax, a ak ju chcem rozdeliť, syntax sa stáva ešte zložitejšou. Viem, čo chcem robiť, chcem vytvoriť vedrá. Ak mám nástroj ako DBArtisan, ktorý hovorí: „Hej, tu je pekná obrazovka, ktorá vám umožní sústrediť sa skôr na to, čo sa snažíte, ako na to, ako sa snažíte urobiť, a mimochodom, stlačte Keď budete hotoví, ukážte tlačidlo SQL a my vám ukážeme, čo to bolo SQL, aby ste sa mohli začať skutočne učiť a zvládnuť to. “
DBA zisťujú, že nástroje, ktoré im pomôžu zvládnuť prácu, ale tiež im pomôžu naučiť sa všetky tieto nové veci, ktoré používajú, a to isté by bolo pravda - povedzme, že som Oracle a idem do MySQL a povedzme, „Dobre, vytvorte databázu, DBArtisan. Teraz mi ukážte SQL, pretože som zvedavý, aké to je vytvoriť databázu na MySQL a práve som sa naučil syntaxi. “A tak im nielenže pomáhame pracovať v databáze, tiež ich vzdelávame v databáze.
Dez Blanchfield: Ešte zaujímavejšie je, keď sa dostanete k niektorým z modernejších - alebo nie modernejších, to nie je fér - povedať, ale niekedy je databáza databázou. V dnešnej dobe vidím všetko, o čom tu hovoríte, s dodatočnou výzvou, ktorú technologické komíny, ktoré tradične vidíme od dodávateľov a do nich otvárate nejaký otvorený zdroj, a tiež, že sú dobré. Nielen, že sa zaoberajú databázovými mechanizmami a dopytovacími jazykmi, ale tiež sa zaoberajú dátovými typmi, štruktúrovanými a neštruktúrovanými, viete, výzvou, ktorú musia zvládnuť všetko zo vzdialeného konca spektra HDTV s viacerými petabajtmi. prostredie pre malé malé kontajnery a paketové súbory a rôzne formáty protokolových súborov.
A myslím si, že to je niečo, čo teraz vidíme, kde nie je žiadna ľudská bytosť, bez ohľadu na to, koľko superman, superwoman, čokoľvek by si mohli myslieť, že sú, fyzicky jednoducho nedokážu mentálne zvládnuť túto mieru zmeny a rozsah variácií. Myslím si, že sada nástrojov, ktoré teraz ponúkate, sa dostane do bodu, keď budú takmer v predvolenom nastavení mnohými spôsobmi, takže nemôžeme spustiť databázové prostredia, ktoré máme, bez nich, pretože len fyzicky nemôže na nich hádzať toľko tiel. Vaša prezentácia sa mi naozaj páčila. Chystám sa odovzdať Dr. Robinovi Bloorovi, som si istý, že má na vás veľa otázok.
Robin Bloor: Dobre. Určite mám otázky. Bert, neviem, kam ideš - pred pár dňami som mal skutočne zaujímavý rozhovor, kde mi niekto začal hovoriť o najnovšej ochrane údajov DU a zdalo sa mi z toho, čo hovoria, že to bolo neuveriteľne drakonický, pokiaľ ide o veci, na ktorých trvali. Zaujímalo by ma, či si sa na to skutočne pozrel; je to niečo, čo poznáš?
Bert Scalzo: Určite. Jo.
Robin Bloor: 2016, dobre, povedzte nám o tom.
Bert Scalzo: A vlastne …
Robin Bloor: Hlboko zaujímavé.
Bert Scalzo: V skutočnosti som chvíľu pracoval pre dodávateľa flash, v ich databázovej oblasti, ktorý im pomáhal vytvárať flash produkty pre databázy, a môžem vám povedať, že drakonik ide úplne dole. Čo tým myslím je, že ak si pamätáte moju jedinú snímku, povedal som v niektorých databázach šifrovanie, ale vloží ho do pamäte servera av niektorých databázach šifrovanie - stále je šifrované v serverovej pamäti, dešifruje sa iba vtedy, keď dostane sa klientovi. Čo nájdete tiež, sú niektoré z týchto vládnych štandardov, najmä ministerstvo obrany alebo armáda tu v USA, tiež idú až na úroveň blesku a chcú vedieť nielen to, že podporujete šifrovanie a dešifrovanie v váš hardvér, ale ak niekto ukradol čipy, ktoré - viete, vytiahli ich z veci, zo servera, že to, čo je tam, je šifrované, takže aj keď majú úložisko, nemôže to byť a že by celú cestu dole k skutočnému - nie k samotnej časti blesku, ale smerom k jednotlivým čipom. Chceli vedieť ten čip po čipe, všetko bolo zašifrované.
Robin Bloor: Páni. Myslím, že existuje veľa vecí - viete, myslím, že to bolo len jedno alebo dve snímky, o ktorých ste sa zmienili, ale bolo to niečo, čo je podľa mňa skutočne zaujímavé. Napríklad pri redigovaní informácií musí byť trochu múdrejší, než len maskovať rôzne oblasti, pretože najmä pomocou strojového učenia v súčasnosti môžete robiť deduktívne veci, ktoré vám umožnia získať informácie, ktoré ste predtým nemohli odhaliť.
Ak sa snažíte chrániť, povedzme o zdravotných informáciách, potom je to v USA veľmi, veľmi drakonické pravidlá týkajúce sa zdravotných informácií, ale v skutočnosti môžete pomocou rôznych techník strojového učenia často zistiť, kto má lekárske informácie vlastne je. Len som premýšľal, či o tom máte čo povedať, pretože všetci si myslia, že je to zaujímavá oblasť.
Bert Scalzo: Áno, samozrejme, a ja to len používam ako príklad, nesnažím sa povedať, že jedna databáza je lepšia ako iná, ale je to veľmi dobrý príklad toho, čo ste práve požiadali. Ak napríklad v spoločnosti Oracle nemám povolené vidieť rad údajov, napríklad nemám dovolené zobraziť lekársky záznam Johna Smitha. Ak v spoločnosti Oracle poviem: „Vyberte ten záznam“, budem blokovaný alebo budem mať možnosť vidieť, čo môžem vidieť a bude upravený. A ak poviem: „Vyberte hviezdu účtu z tabuľky, kde sa rovná John Smith, “ dostanem nulu.
Na serveri SQL Server môže vykonať presmerovanie, ale má určité diery. Ak poviem: „Vyberte hviezdu účtu z tabuľky, kde sa rovná John Smith, “ v skutočnosti dostanem späť jednu, takže viem, že existuje John Smith. Jeden je bezpečnejší ako druhý. Teraz očakávam, že to napravia, vždy spolu hrajú skokovú žabu. A opäť sa nesnažím rozlišovať medzi databázami, iba aby som ukázal príklad - pozrite sa na to, o čom hovoríme teraz, niečo tak jednoduchého, ako je vybratý účet, musí byť redakciou znížené, aj keď technicky Hovorí sa, že nie je nič redigované inak ako existencia riadku.
Robin Bloor: Áno, správne. To je zaujímavé. Ďalšia všeobecná otázka, pretože nemám veľa času, je naozaj len o vylepšeniach. Myslím, že ste boli v jednom, kde viem, že ste nám ukázali príklady rôznych výsledkov testov, ktoré ste spustili - myslíte si, že tradičné databázy, povedzme im dominantné databázy, SQL Server a Oracle, viete myslíte si, že zostanú pred dokončením? Alebo si myslíte, že ich skutočne postihnú rôzne druhy porúch na trhu, ktoré pre ne skutočne stoja? Aký je tvoj názor?
Bert Scalzo: Mám názor a je to - viete, znova poviem, že je to môj názor - napríklad spoločnosť Microsoft, v post-Ballmerovej ére zo mňa dojem na živé peklo robí dojem. Mám na mysli túto rozťahovaciu databázu, keď dostávam SQL Server v systéme Linux, získam .NET v systéme Linux, ako v PowerShell nad Linuxom; Nemyslím si, že tradiční dodávatelia databáz zostanú pozadu. Myslím, že sa rozhodli: „Hej, nechaj nových chlapcov, startupy niečo definujú. Nechajte ich prísť na to, čo je to sharding a ako by sa malo zdokonaliť. Akonáhle vykonajú všetok výskum a vývoj, vieme presne, čo používatelia chcú, teraz pridajme do spoločnosti Oracle prestrešenie. “Myslím si, že sú len inteligentní a „Hej, byť druhým alebo tretím nie je zlé, keď ste dominantným hráčom, pretože ľudia z vás nebudú migrovať.“
Robin Bloor: Áno, myslím, že sa použila stratégia. Chcem tým povedať, že IBM to robila a celé - pre celý rad svojich výrobkov a hodnotí sa primerane dobre, až kým niekto nepríde s niečím, čo je úplne mimo múru, o ktorom nikto nikdy nenapadlo, ale nemôžete plánovať proti tomu rovnako.
Otázky od publika, Eric?
Eric Kavanagh: Áno, ale máš čas, myslím, že len pre jedného a viem, že Bert musí bežať. Bolo tu niečo okolo - v poriadku, architektúra opláštenia na Oracle 12c je to náznak - alebo čo je to podľa vášho názoru, čo sa tam podľa vás deje?
Bert Scalzo: Spoločnosť Oracle absorbuje alebo ponúka všetko, čo sú všetci ostatní dodávatelia databáz. Napríklad môžem do Oracle vložiť neštruktúrované údaje. Neviem, ako môžete vložiť neštruktúrované údaje a potom ich nazvať relačnou databázou, takže to nedáva zmysel, ale môžete. A teraz Oracle pridáva ostreľovanie, takže Oracle hovorí: „Vieš čo? Čokoľvek chce trh, urobíme našu databázu, pretože trh chce to, čo chce trh a chceme dodať riešenie, chceme, aby zostali s nami. “
Myslím, že uvidíte ďalšie položky. Neprekvapilo by ma, keby som videl zhlukovanie databázových uzlov podobné hadoopu nie v klastri Oracle alebo v skutočnom aplikačnom klastri, ale v podstate vo viacerých tradičných klastroch typu Hadoop, ktoré robia toto orezávanie. A tak si myslím, že budete môcť nasadiť databázu ako Oracle, ako by ste boli Hadoop, a tieto trendy budú pokračovať. Títo veľkí predajcovia databáz zarobia miliardy dolárov a nechcú prísť o svoj trh, takže sú ochotní prispôsobiť sa čomukoľvek alebo prijať čokoľvek.
Eric Kavanagh: Nuž, vieš, je to smiešne, pretože som už nejaký čas sledoval predajcov s otvoreným zdrojovým kódom a celý čas som sa čudoval, aký veľký vplyv to bude mať na tradičnú technológiu zatvorených dverí a na chvíľu to Určite sa cítili, akoby predajcovia s otvoreným zdrojovým kódom robili nejaký vážny pokrok, a teraz, keď sa pozriem na trh, vidím niečo, čo hovoríte, že veľkí chlapci urobili svoju matematiku, nabrúsili svoje ceruzky a zistili, ako dokážu spletať veľa týchto vecí do svojich architektúr. Či už je to spoločnosť IBM alebo Oracle alebo SAP - minulý mesiac som bol práve na konferencii SapphireNow a Steve Lucas, ktorý stojí v čele polovice tejto spoločnosti, vychvaľoval, že SAP teraz do svojej cloudovej platformy HANA začleňuje viac komponentov s otvoreným zdrojovým kódom ako ktorékoľvek z ich konkurenti. Ak to urobíte matematicky, je to veľmi pôsobivé tvrdenie a hovorí mi, že veľkí chlapci sa čoskoro nikam nedostanú.
Bert Scalzo: Nie, stavil by som si peniaze na obidva. Myslím tým, že ak sa pozriete, akcie Microsoftu boli nedávno okolo 50 dolárov a, viete, pred pár rokmi to bolo na 25 rokov. Ak to nerobíte dobrými vecami, v krátkom čase nedvojnásobíte cenu akcií. Viem, že od všetkého, čo je pre Windows 10 zadarmo, po prvý rok až po všetky ostatné inteligentné veci, ktoré robia, táto funkcia natiahnutia databázy je podľa mňa iba fenomenálna. Myslím, že to, čo sa stane, je, že veľa ľudí skončí v Azure, nie priamo, nie ako by povedali: „Poďme migrovať svoju databázu do Azure.“ Bude to tam kúzelne migrovať, pretože sa to archivuje tam pomocou tejto novej funkcie databázy úsekov, a tak prijatie Azure bude len stúpať.
Eric Kavanagh: No, to je jeden z trendov na trhu, ktorý vidím, dokonca aj na vašom počítači Mac. Keď idete vo svojom počítači Mac na ukladanie niektorých dokumentov, teraz - a novšie počítače Mac práve sledujú cloud, nie? Myslím, že v tejto stratégii je veľa zmyslu a tiež sa na ňu pozerám a pokračujem: „Dobre, chalani ma lákaš kúsok po kúsku do cloudového prostredia, a potom jedného dňa, keď chcem pozerať nejaký film, ak platnosť mojej kreditnej karty vypršala, budem mať problémy. “
Bert Scalzo: Áno, ale robíte to na Facebooku.
Eric Kavanagh: Áno. To je pravda.
Bert Scalzo: Všetko ste umiestnili na Facebook.
Eric Kavanagh: No, nie celkom všetko.
Bert Scalzo: Nie, myslím -
Eric Kavanagh: Áno, pokračujte.
Bert Scalzo: Tieto sociálne trendy siahajú do podnikania. Teraz majú podniky ešte veľa vecí, ktoré musia urobiť, ale vidia tieto trendy a robia rovnaké veci. Nevidím odchádzať ani Oracle ani Microsoft. V skutočnosti budem kupovať zásoby na oboch zakaždým, keď dôjde k poklesu.
Eric Kavanagh: Áno, skutočne. Ľudia, choďte na idera.com, IDERA dot com. Ako povedal Bert, majú k dispozícii veľa bezplatných vecí a je to jeden z nových trendov na trhu - dajú vám nejaké bezplatné veci, s ktorými sa budete môcť pohrávať, priviazať a potom si kúpiť skutočné veci.
Ľudia, toto bola ďalšia horúca technológia. Ďakujem za váš čas dnes, Bert, samozrejme Dez, a tiež Robinovi. Budeme s vami hovoriť budúci týždeň, ľudia, deje sa veľa vecí. Ak máte nejaké nápady, neváhajte a napíšte svoje e-mailom, . Budeme s vami hovoriť nabudúce, buďte opatrní. Bye-bye.
