Od zamestnancov Techopedia, 11. mája 2016
Jedlo s sebou: Hostiteľ Rebecca Jozwiak diskutuje o pokrokoch v architektúre a ukladaní databáz s Dezom Blanchfieldom, Robinom Bloorom a Brianom Bulkowským.
Momentálne nie ste prihlásení. Ak chcete vidieť video, prihláste sa alebo sa zaregistrujte.
Rebecca Jozwiak: Dámy a páni, ahoj a vitajte v Hot Technologies roku 2016. Dnes sme: „Odhaľovanie diferenciácie: prichádza nová éra škálovateľnej infraštruktúry.“ Dnes som za Erica Kavanagha. Som Rebecca Jozwiak, váš skromný hostiteľ zo skupiny, zatiaľ čo Eric je na Jamajke. Dobre pre neho.
Tak, ako to bolo už desaťročia, aj tento rok je horúci, hoci sa technológia pravdepodobne pohybuje tempom, ktoré prevyšuje Mooreov zákon, a čo robia organizácie, aby držali krok? Hľadajú všetko, čo je rýchle, a podľa môjho názoru je rozsah pravdepodobne jednou z najdôležitejších vecí, keď uvažujeme o databázach. A samozrejme máme možnosti na zvyčajné relačné, teraz máme našu NoSQL, máme náš stĺpcový obchod, máme naše grafické databázy, naše RDF databázy, ale v skutočnosti to, čo podniky hľadajú, je mierka, je paralelnosť a je rýchla,
Tradičné architektúry sa teraz zakladali na tomto relačnom modeli. Ak sa však pozriete na väčšinu webových obchodov, ktoré vznikli za posledné tri, päť, desať rokov, nie sú to modely, ktoré používajú pre svoju infraštruktúru. Používajú inú paralelnú architektúru, škálovajú sa a sú rýchle, a to je to, k čomu sa dnes mnohí ľudia obracajú.
Naša zostava, máme Dez Blanchfielda, je to vedec zo skupiny Bloor Group. Máme doktora Robina Bloora, nášho hlavného analytika v skupine Bloor, a máme Briana Bulkowského, CTO a zakladateľa spoločnosti Aerospike. Takže chlapci s tým idem odovzdať Dezovi.
Dez Blanchfield: Ďakujem a ďakujem, že si ma tu dostal. Pokúsim sa nastaviť scénu pre to, ako sme sa veľmi rýchlo dostali tam, kde sme, a počas prechádzania dnešnými témami sa ponoríme do oveľa väčšieho množstva technických detailov. Práve tu získam kontrolu nad obrazovkou.
Takže väčšie, lepšie a rýchlejšie. Keď premýšľam o tom, kde sme, obraz, ktorý mi neustále pripomína, je práve tento obraz, ktorý mám na titulnej snímke, ktorá je expanziou vesmíru. Technológiu sme vyvíjali a rástli už desaťročia, v skutočnosti od konca päťdesiatych rokov, keď sa sálový počítač stal skutočnou vecou. Technológia ďalej rástla v mnohých prípadoch horšie alebo vyššie ako lineárna krivka v závislosti od toho, na ktorej časti krivky ste, pokiaľ ide o softvér alebo hardvér.
Stupnica sa zväčšuje a zväčšuje, rýchlejšie a rýchlejšie, pokiaľ ide o to, čo sa snažíme dodávať, a menšie a menšie na úrovni výroby a polovodičov. A v strede je softvér a aplikácie a systémy, ktoré tento softvér podporujú, a majú tendenciu zmenšovať sa a zmenšovať sa v prírode, a videli sme veci, ako sú kontajnerové aplikácie a mikro servery, je to opäť vec. Urobili sme to v minulosti, pred niekoľkými desaťročiami, ale v dôsledku zmenšovania sa a zmenšovania sa zväčšujeme a zväčšujeme v rozsahu, v akom môžeme teraz spúšťať veci, ako sú aplikácie a konkrétne databázy, a logiku tieto databázy.
Mám tento názor, kde sme škálovali veľmi vodorovne, v podstate v osi X; škálovali sme zvisle v osi Y. Teraz sme v bode, keď musíme ísť niekam inam, a podľa môjho názoru je to druh duševne uvažovaný ako os Z, a to je to, že musíme ísť hlboko do technológie a pozrieť sa, ako to môžeme urobiť. veci inak ako to, čo sme doteraz urobili, aby sme dostali ďalšiu rýchlosť. Takže si predstavujem celú túto expanziu vesmíru, kde došlo k výbuchu a existujú technológie, a tento lepší lineárny rast a dopyt. Museli sme nájsť rôzne spôsoby, ako dosiahnuť tento väčší, lepší a rýchlejší výsledok.
Len aby sme rýchlo pokryli miesto, kde sa momentálne nachádzame v niekoľkých hardvérových prostrediach. Videli sme, že klesajúce náklady na gigabajt miesta na disku spôsobujú niekoľko pomerne veľkých prechodov a technológií a prístupy k väčšej, lepšej a rýchlejšej otázke rozsahu. Jedná sa o dva samostatné grafy, ktoré pokrývajú zhruba desaťročie za kus, každú dekádu klesá vždy o jeden gigabajt voľného miesta na pevnom disku.
Je to klasická krivka J alebo hokejka, ako sa na ne často odvolávame, keď ste pred časom mohli minúť doslova stovky tisíc dolárov za nákup gigabajtu miesta na disku, nie celkom pred dvoma desaťročiami, zatiaľ čo dnes sa to stáva dolármi a nakoniec som si istý, že to skončí, čo závod nazývame nula, stane sa centom. To prinieslo zaujímavú zmenu v type vecí, ktoré podniky môžu robiť. Hovorím o tom ako o prerušení údajov alebo o veľkých údajoch, a tým myslím tým, že sme videli technológie, ako sa stať vecou, v ktorej by sme mohli ukladať veľmi horizontálne, a typ výpočtu, ktorý sa môže vzťahovať na toto úložisko a na to, ako otvára zaujímavú technológiu, pretože nám umožňuje robiť veľmi veľké, redundantné paralelné úložisko na najrýchlejšej úrovni a samotné časti Hadoop, ktoré natívne dokážu kopírovať dáta v zápise, keď sú mnohokrát prečítané a jednoducho mierku upravte na takmer lineárny stupeň.
A všetky spoločnosti, ako je tento, sa skutočne prejavia prerušením používania veľkých dát. Máme spoločnosti ako Uber, ktoré sú najväčšou taxislužbou na svete. Vlastne nevlastnia žiadne taxíky a je to tu dlhý zoznam. Airbnb je najväčší poskytovateľ ubytovania, v skutočnosti nemá nehnuteľnosť. Jedným z mojich obľúbených je Facebook, napríklad v tomto zozname, kde obsah nevytvárajú, pre nich ho vytvárame, ale v skutočnosti sú najväčším vlastníkom médií na planéte. Máme zaujímavé, ako najrýchlejšie rastúce banky, v skutočnosti nemáme peniaze. Ide o platobné platformy a banky poskytujúce pôžičky typu peer-to-peer a najmä v Austrálii existuje jedna, ktorá tu rastie slávu zvanú SocietyOne. A niektoré z veľkých bánk, ktoré musia mať hotovosť, investujú do tejto konkrétnej banky typu peer-to-peer. A týmto zoznamom prechádzame až po Netflix; v skutočnosti nevlastnia žiadne kiná a napriek tomu sú vlastne najväčší kino na svete.
Dostali sa tam, kde boli, podľa môjho názoru, pomocou inteligentných technológií na dátovej úrovni, pretože sme mohli urobiť väčšie a širšie úložisko pri nižších nákladoch kvôli zníženej cene gigabajtu miesta na pevnom disku a mohli sme použiť inteligentný výpočet a distribuovať výpočtový model nad tým. Tieto spoločnosti mali schopnosť vytvoriť konkurenčnú výhodu a prerušiť sa v dôsledku klesajúcich nákladov na miesto na disku.
Videli sme, že sa podobné veci dejú aj v nákladoch na pamäť. Pred pár desaťročiami, ak ste mali okolo šiestich miliónov dolárov, mohli ste si kúpiť gigabajt pamäte RAM a mali sme veľmi podobnú krivku J alebo hokejku, došlo k zníženiu nákladov alebo zníženiu ceny RAM. A to prinieslo niekoľko zaujímavých vecí a podľa môjho názoru je jedným z najväčších porúch v tomto priestore množstvo pamäte, ktorú je možné zabudovať do zariadení, ako sú mobilné zariadenia, ako sú telefóny a tablety, a dokonca aj do prenosných počítačov. Počítače v týchto dňoch, množstvo pamäte, ktorá ide do priemerného notebooku, je v niektorých prípadoch dosť smiešne. V niektorých prípadoch má môj aktuálny prenosný počítač viac pamäte ako niektoré zo serverov, ktoré predtým používali.
To samo osebe prinieslo významnú zmenu, podobne ako RAM v mojej mysli, čo nám umožnilo rýchlo škálovať a škálovať. A teraz sme objavili technológiu, ktorú nazývame flash, a toto je technológia, ktorá pôvodne vychádza z niečoho, čo je na hardvéri vo forme EEPROM, malého čipu, ktorý bol navrhnutý tak, aby bol k dispozícii, a zapisovať do neho a potom, keď sa napájanie vypne, ponechá všetko, čo ste napísali na tento čip, ako trvalé úložisko. Bolo to pomalé, bolo to ťažkopádne a myslím si, že v tých časoch sa asi v rokoch 1980–1981 to stalo. V roku 1984 spoločnosť Toshiba, o ktorej som presvedčený, že vynalezla túto technológiu, z nej urobila obchodnú vec, ktorú by sme mohli použiť.
Ale čoskoro si ľudia uvedomili, že v skutočnosti môžu kombinovať komponenty, ktoré sa použili na vytvorenie tohto konceptu EEPROM, pamäte iba na čítanie, keď ju vymazali a napísali do nej, a mohli do nej skutočne napísať. pravidelne ho používajte trochu viac ako miesto na disku a trochu viac ako RAM. Postupom času sa vyvíjal. Táto technológia ukladania flash je teraz zlúčením medzi tradičným diskovým úložiskom, či už ide o rotujúci disk alebo v niektorých prípadoch hybridný disk pamäte a RAM. Kľúčovou vecou je systém medzi tým, že doň môžete čítať a písať, a potom vypnúť napájanie a zachová si to, čo ste doň napísali. Takže miesto na disku, samozrejme, do ktorého píšete, vypnete napájanie a rotujúce vreteno a silne upravené, kvôli lepšiemu popisu, zachovajú nuly a tie, ktoré ste doň napísali.
V pamäťovom priestore s ľubovoľným prístupom napíšete niečo do pamäte v RAM, vypnete počítač a všetko sa vymaže, pretože už nie sú k dispozícii žiadne elektróny, ktoré by ho udržali nabité a aby ste držali informácie, ktoré ste doň napísali. Navyše je v strede a je extrémne rýchly, rýchlejší ako disk, o niečo pomalší ako RAM. Ale môžete naň písať a čítať z nej, a keď vypnete napájanie, vydrží. Prinieslo to niekoľko úžasných technológií, a najmä sme vyvinuli mobilné zariadenia a notebooky, ktoré sú skutočne, skutočne rýchle a schopné robiť veľa vecí, a teraz sa presunuli do priestoru infraštruktúry okolo úložiska a výpočtov, a to prinieslo významné zmeny v tom, čo môžeme dosiahnuť v mierke. Toto je miesto, o ktorom si myslím, že sa teraz objaví os Z v mojej mysli.
Je to takmer práve včas v mnohých ohľadoch, pretože sme teraz videli prerušenie v dôsledku toho, čo hovorím ako dopyt, a to, že spotrebitelia majú, bez ohľadu na to, čo sa deje v infraštruktúre a technologickom priestore, a schopnosť rýchlejšie jazdiť. a rýchlejší výpočet a výkon na úrovni infraštruktúry, zákazníci požadujú toto prerušenie vo forme toho, čo sa teraz spomína, zážitku celebrít. Každý chce, aby každý systém, každá aplikácia, každá webová stránka vedela, kto sú a čo sa im páči, a aby im mohli dať osobné skúsenosti. Už nestačí ísť na webovú stránku, kde si kúpim lístky do kina. Chcem, aby vedel, čo som si kúpil predtým, prečo som si ho kúpil a prípadne to, čo si ľudia ako ja kúpili a odporúčali veci.
Vždy vidíme, o čom hovorím, je vedľajší spoločenský poriadok, a to je to, že chcem celebritný zážitok, ale tiež chcem socializovať tento nápad, chcem sa oň podeliť so všetkými svojimi priateľmi a povedať im, čo Robím, a tiež chcem vedieť, čo robia moji priatelia. A to je dôsledok výbušného dopytu po ďalších výpočtoch a skladovaní a rýchleho obrátenia vecí. Videli sme generáciu Fitbitov, čo nazývam neustále sledovanie. Všetko, čo robím, bude sledované, prihlásené a niekde zachytené. Videli sme všetko v reálnom čase: bankovníctvo, draženie, motory odporúčaní, ktoré musia byť schopné zvládnuť veci v reálnom čase, ktoré osobne robím ako spotrebiteľ.
A potom vidíme veľmi veľký vplyv, ako sú bezpečnostné riziká týkajúce sa počítačovej bezpečnosti. Bývalo to tak, že sme mali individuálnych hackerov, potom sa na nás vzťahovali zločinecké gangy, teraz máme celé národy vojnu cez internet, čo je skutočná vec a skutočne sa to stáva. Dávajte pozor na to, sadnite si a pozrite sa na to, pretože na to má skutočný vplyv a niektorí z našich predpremiérových žartovníkov diskutovali o riziku preniknutia vášho vlastného počítača alebo aspoň vašej siete.
Videli sme tento koncept extrakcie entity. Extrakcia entít je vtedy, keď musíme nájsť veci, ktoré nás zaujímajú, vo veľmi veľkých súboroch údajov, najmä v súvislosti s podvodmi a nelegálnymi aktivitami typu hackerov. Ale častejšie uvidíme, že extrakcia entít sa stáva ťažiskom dobrých vecí a vecí, ktoré sú pre nás dôležité, na rozdiel od hľadania vecí, ktoré na nás útočia.
Videli sme tiež explóziu, ktorá sa označuje ako geopriestorové údaje. Toto sú údaje, ktoré skutočne vedia, odkiaľ pochádzajú alebo odkiaľ pochádzajú iné podobné údaje. Dokážete si predstaviť, že stojíte na ulici a chcete nájsť najbližšiu parkovaciu stanicu alebo najbližšiu reštauráciu, aplikácie, ktoré dokážu aplikovať geoprostorové výpočty a údaje, výpočty údajov, ktoré vedia, kde sa nachádza vo vesmíre, sú veľmi dôležité, pretože musíte vedieť, kde sú iné objekty a entity, a rýchlo to urobiť.
Videli sme neustále pripojený mobil. Aj keď v noci spíme, naše mobily stále tikajú preč, aktualizujú naše e-maily, kontrolujú kalendáre, zisťujú, aké je počasie a zisťujú, či bude k dispozícii to, čo by sme si chceli dať na raňajky. Tam sa deje veľa hluku, a to vytvorilo masívny vplyv na to, čo musíme urobiť na zadnej strane, a ako rýchlo to robíme.
Celkovo možno povedať, že samotný rozsah a dosah toho, čo sa označuje ako internet vecí alebo častejšie ako ne, je prepojiteľnosť medzi strojmi, kde zariadenia hovoria so zariadeniami a ktoré sa pohybujú až po motory pripútané k strana letúnov, ktorá hovorí samotnému letúnu alebo systému riadenia letúna, že ložisko na motore číslo 4 má nadmerné opotrebenie a teplo, a malo by sa vymeniť, keď pristávame, a potom komunikuje s iným strojom, a preto by malo umiestniť na letisku je magicky prítomný inžinier a je pripravený ho počas tankovania vymeniť.
A rozsah, ktorý je taký veľký a taký veľký, že sme museli ísť do toho, čo hovorím, cez prístup k určitému spôsobu vysporiadania sa s ním. Pretože nový svet a vítaný v novom svete, nový svet všetkého, čo používame, je prepojený; kedysi to boli satelity a sieťové zariadenia, teraz sú to mobilné zariadenia a naše notebooky a tablety a telefóny, a dokonca aj moje úplne nové Audi má v sebe zabudované znamenie a neustále podáva správy o svojom vlastnom zdraví, ale tiež sa aktualizuje, a vie, kde to je a aké mapy sú použiteľné, a dokonca mi hovorí, kedy mám ísť na inú trasu, ak je na ceste pred vami premávka.
Všetko, čo teraz budujeme, všetko, čo s vami teraz hovoríme, je navrhnuté tak, aby sa spojilo a pripájalo sa k iným veciam, nielen odo mňa k systému, ale od systému k systému, a aby sme sa s tým dokázali vyrovnať „Musíme uplatňovať veľmi odlišné myslenie na úrovni infraštruktúry, tak na hardvéri, ako aj na softvéri, a najmä na databázových vrstvách, ktoré systémy potrebujú, aby podporili túto skutočnosť, a v mnohých ohľadoch sa databáza stala motorom a aplikácie sú skutočne len malé roboty, ktoré robia veci.
Chcem sa tu rýchlo zabaliť s týmto mierne vtipným pohľadom na to, kam ideme s týmito vecami a čo nazývam „IoT pri stlačení tlačidla“. Bol vytvorený nový gadget s názvom Tlačidlo Amazon Dash a toto je malý gadget s veľkosťou palca. V skutočnosti je to v mnohých ohľadoch rovnaké ako môj palec USB. Keď si túto vec kúpite, je to asi 4, 99 dolárov v USA online od Amazonu, dostane sa k vám, nakonfigurujete ju pomocou mobilného telefónu a doslova ju pripojíte k jednému zo svojich zariadení, ako je chladnička, práčka alebo čokoľvek iné. Napríklad v práčke, ak vám dôjde prací prášok, môžete stlačiť toto tlačidlo a vytočí domov a automaticky za vás objedná viac, a magicky sa k vám dostane prostredníctvom našich dobrých priateľov v Amazonii.
Pre mňa to ma desí, pretože dôjde k výbuchu množstva vecí, ktoré sú pripojené k sieti a pokúšajú sa vytvoriť pripojenie a generujú dopyt. Ak si dokážete predstaviť, jedna alebo dve z týchto vecí možno nie sú až také strašidelné, ale keď som sa naposledy pozrel, bolo ich viac ako 110, takže takmer každá značka na planéte sa pokúsi získať svoj vlastný malý tlak - tlačidlo IoT, že idete domov a stlačíte tlačidlo a hovorí: „Objednajte mi pizzu.“ Stlačíte ďalšie tlačidlo a zajtra pripravíte obed pre vaše deti vopred pripravený obed.
To vyvoláva taký masívny dopyt po transformácii na pozadí, na aplikačnej úrovni, najmä na úrovni databázy, že si myslím, že sme práve videli len špičku ľadovca, aký druh transformácie výkonu musíme vidieť., A s tým idem odovzdať doktorovi Robinovi Bloorovi a získať jeho náhľady do takých oblastí, v ktorých sa nachádzame.
Rebecca Jozwiak: Dobre Robine, prešiel som ti loptu.
Robin Bloor: Nie je to dobré? Dobre, ideme, to som ja. Predtým, ako som prišiel k tejto, som videl Dezovu prezentáciu, takže by som povedal skôr veci, ktoré sa dopĺňajú, ako opakujem len niektoré z vecí, ktoré povedal Dez. Myslel som, že budem hovoriť o vývoji databázy z hľadiska toho, čo sa v skutočnosti stalo s architektúrou, atď., Z databáz z historického hľadiska.
Základným problémom, ktorý má ktorýkoľvek dodávateľ databázy, je udržiavanie flexibilnej architektúry, ktorá prispôsobuje a udržuje krok s vývojom hardvéru. Porozprávam sa o tom, ale keď sa skutočne pozriete späť a uvidíte, ako sa databázy stavali a ako sú zostavené teraz, v skutočnosti sa výrazne líšia od toho, čo by som nazval úroveň architektonického dizajnu, Stojí za to len prehodnotiť, prečo to tak je, alebo aspoň si myslím, že je. Hardvérové faktory a Dez nám poskytli mimoriadne dobré pokrytie spodných vrstiev, pokiaľ ide o pamäť a disk. Čo máme teraz a toto je budúcnosť, Intel je nabudúce, CP, ktorý na to bude mať FPGA. Čo s tým budú ľudia robiť, nemám potuchy. AMD zlučuje CPU a GPU a aký je to rozdiel? To sú druhy zmien, ktoré skutočne zmenia databázu, a mám podozrenie, že Aerospike je medzi ostatnými, pretože Aerospike je poháňaný výkonom, pravdepodobne sa na to už pozerá a pracuje tam, kde si myslí, že to skutočne pôjde. spôsobom, akým produkt funguje.
Máme systém na čipe, ktorý sa ešte nevybral. SSD, o ktorých vieme, ale je potrebné poznamenať, že v skutočnosti zvyšujú rýchlosť, približne mieru Mooreovho zákona, faktor každých 10 rokov. Spoločnosť Intel sa chystá vydať 3D priechod, ktorý tvrdí, že dokáže ísť viac ako stokrát rýchlejšie ako SSD, v skutočnosti druh kvapiek do mixu, potom to zmení rýchlosť, akou môžu produkty ako Aerospike skutočne go.
Potom máme paralelné hardvérové architektúry, inými slovami spôsob, akým sme skonštruovali hardvér v zmysle - pôvodne to bol len procesor, ktorý sedel nad pamäťou, ktorý sedel nad diskom, ale stal sa oveľa komplikovanejším. Myšlienka systému na čipe spočíva v tom, že v skutočnosti môžete mať paralelizmus medzi jednotlivými čipmi a dosiahnuť, aby všetko prebehlo mimoriadnou rýchlosťou, a my nevieme, ktorý z týchto produktov bude v skutočnosti dominovať.
Je to len pohľad na budúcnosť, ale na hardvérovej úrovni sa výkon zrýchľuje a náklady naďalej klesajú, podobne ako to opísal Dez. Vaše procesory nemusia byť nevyhnutne lacnejšie, ale iba rýchlejšie a tak ďalej.
Z obchodného hľadiska je v niektorých situáciách, a to sú situácie na trhu, prvé miesto, kde je obchodná hodnota. Ak ste obzvlášť - ak ste absolútne presvedčení, že určitá zásoba bude klesať v cene, najlepšia cena získa prvá osoba, ktorá dostane objednávku na predaj. Je to skutočne také jednoduché. Preto existuje technologický závod, ktorý pokračuje v automatizovanom obchodovaní v bankách, aby sa tieto situácie skutočne pokúsili vyhrať. Čo sa stalo potom? Čo sa stane potom, čo banky s tým všetkým urobia svoju vec? Zrazu začínate vidieť ďalšie oblasti, ktoré sa nakazia rovnakým druhom potreby rýchlosti.
Skutočne sa stalo, že ľudia boli z rovnice odstránení, čo sa stalo s internetovou reklamou veľmi rýchlo. Ide však o to, že nejde o konkrétnu transakciu, vykonanie metód, je to celý obchodný proces, je to skutočnosť, že webová stránka bola práve vyhodená a musí sa urobiť rozhodnutie, ktoré môže byť dosť komplikované, o tom, na čo inzerovať skutočne umiestniť na tejto webovej stránke, z toho, kto by bol používateľom prehliadača, by bolo najvhodnejšou reklamou, a tak ďalej a ďalej. Stalo sa to veľmi komplexnou vecou a znova to spomeniem.
Ide však o to, že výkon a škálovateľnosť obchodného procesu nie je ten istý problém ako výkon a škálovateľnosť schopnosti dotazovania, a to je niečo, čo som si dobre vedomý, kvôli nedávnej informačnej miestnosti, ktorú sme urobili so spoločnosťou Aerospike, že sú si tiež vedomí. Ďalšia vec, keď skutočne pracujete pri týchto rýchlostiach, záleží na vlastnostiach majetku pre transakciu, akékoľvek spracovanie udalostí. Naozaj, naozaj na tom záleží. Takže hrozné množstvo toho, čo robia niektoré databázy, ktoré strácajú list alebo dva z majetku, môže v kontexte fungovať primerane dobre - bude to fungovať dobre v kontexte, o ktorom hovoríme. Nie je to skutočne prijateľné, aby som bol úprimný.
Z technologického hľadiska sa na to skutočne pozeráte - viem, že existujú dva druhy pákového efektu, aby sa vytvorili druhy architektúr, ktoré sú skutočne potrebné na poskytnutie takých rýchlostí, ako je Aerospike, ktoré môžu urobiť milión transakcií. za sekundu. Pokiaľ ide o vývoj softvéru, musíte byť skutočne veľmi presní. Nemôžete sa len rozbiť. Musíte sa obávať o dĺžku kódovej cesty. Musíte sa výborne využiť v pamäti a skutočne optimalizujete celé transakcie. Potrebujete inteligentný paralelizmus a tiež potrebujete paralelizmus bezpečný proti zlyhaniu. Musíte radšej zväčšiť, ako zmenšiť, pretože akonáhle zapojíte sieť do všetkého, stane sa to najpravdepodobnejším ukazovateľom, na ktorý budete čakať latencia, a začne transakcie príliš pomaly.
Musíte sa čo najviac dostať do akejkoľvek danej siete známej skôr, ako sa skutočne škálováte, a naozaj sa nechcete škálovať rýchlo, naozaj nechcete veľa procesov. Chcete sieť, ktorú nepoužíva nikto iný. A chcete mať neuveriteľne rýchlu sieť.
Zrýchlené úložisko SSD je niečo - vlastne si myslím, že väčšina sa týka toho, čo robí Aerospike. Jednou zo zaujímavých vecí je, že je to NoSQL databáza. Verilo sa tomu - pred niekoľkými rokmi neviem - to sa považovalo za relačnú databázu, ktorá bola jedinou databázou a dominovala všetkému, a práve v týchto nepatrných situáciách, kde ste nepotrebovali, ísť relačný. Teraz je to trochu otočené na hlave. Jedná sa o rýchle databázy, ktoré sa nachádzajú v týchto databázach SQL, a jedným z dôvodov je hlavný dôvod, prečo sa vyhýbajú pripojeniu údajov, ukladajú údaje do značnej miery objektovým spôsobom. Keď skončíte s objektom, jednoducho ho uložíte a potom celý objekt stiahnete späť, nie je to spájanie vecí, aby sa ich skutočne spracovalo. O tom je rýchlosť. Tieto druhy techník, ktoré generujú rýchlosť v kontexte databázy.
Toto je stopa sĺz, to je to, čo sa stalo databáze. Príbeh alebo rozprávanie relačných databáz bolo koniec databázy, v skutočnosti nebol pravdivý. Aj keď sa začali ovládať, bolo to stále potrebné. Objektové databázy vykonávali minulé transakcie v tých dňoch, pretože relačné databázy ich v skutočnosti nemohli urobiť, a potom sa ukázalo, že relačné databázy využívajúce riadkové obchody, nemohli robiť rýchle dotazy, potrebovali ste aj stĺpce. A potom sme zistili, že ak by ste skutočne chceli robiť grafické otázky týkajúce sa údajov, nebolo by dobré mať ani stĺpec, ani relačnú databázu, a skutočne by ste pre vás mali mať zostavenú osobitne databázu orientovanú databázu. Potom prišli databázy RDF a hneď ako ste skutočne začali uvažovať o význame sémantiky, dostali sme databázy NoSQL veľmi špecificky pre rýchlosť. Hovoriť tomu, že NoSQL je takmer ako keby ste označovali všetky tieto databázy, akoby boli rovnaké, v skutočnosti sa radikálne líšia v tom, čo leží pod nimi. Jediným dôvodom, prečo nesú meno NoSQL, je to, že nedávajú prekliatie SQL, pretože je to príliš drahé. Latencie transakcií, ktoré potrebujú.
IoT - o ktorom som si myslel, že som skončil v rovnakom bode, v akom to Dez dokončil - nie je koniec, všetky tieto situácie, pokiaľ ide o rýchlosť a latenciu, nie je koniec, kým sa tučná dáma nezačne zrušte ich identifikáciu a ešte sa to ešte nezačalo. Mnohé z týchto údajov budú chcieť mať latencie, ktoré som naznačoval, takže si myslím, že to je všetko, čo musím povedať. Poďme to Aerospike a Brian Bulkowski.
Brian Bulkowski: Ahoj, ďakujem vám veľmi pekne za to, že ste sa za túto prezentáciu dnes pripojili k skupine Bloor. Pri úvahách o tom, o čom Dez a Robin práve hovorili, by som vám chcel povedať niečo o ceste, ktorú spoločnosť Aerospike podnikla pri poskytovaní novej databázovej technológie a technológie databáz NoSQL pre mnoho priemyselných odvetví. Bola to skvelá cesta. Aerospike sme začali v roku 2008, keď sme videli veľa trendov, ktoré spomínali Dez a Robin. Konkrétne o databázach zabudovaných v pamäti, ktoré sú schopné využívať výhody blesku, ako aj o druhu cloudových systémov s rozšíreným rozsahom a o druhoch rozsahu potrebného na personalizáciu, analýzu správania a druh VIP VIP skúseností, o ktorých sa diskutovalo.
Keď sme sa priblížili k problému databázy, ktorá bola front-end operačnou databázou, ktorá bola schopná poskytnúť podporu aplikáciám, ktoré by sa dali napísať na ich vyriešenie, začali sme s problémom, ako by sme mohli zostaviť v podstate distribuovanú hašovaciu tabuľku, pamäť - distribuovaná hašovacia tabuľka, ktorá bola úžasne rýchla a schopná vecí, ako sú milióny transakcií za sekundu, ale za primeranú cenu. Keď sme dokončili náš prototyp, uvedomili sme si, že potom budeme musieť zistiť, kto môže potrebovať tento druh rýchlosti. Ako spoločnosť Silicon Valley sme rýchlo zistili, že je to naozaj reklamný priemysel, ktorý dokáže tieto informácie konzumovať a zaujíma ich, a preto by som rád strávil ešte druhé rozhovory o ponukách v reálnom čase a o tom, ako to funguje na trhu.
Robin sa zmienil o tom, ako funguje finančné obchodovanie, čo je prvá transakcia, ktorá je často víťaznou transakciou, a v podstate je čas na latentný trh a na latentnú hodnotu. Je zaujímavé, že reklamný priemysel je trochu odlišný, pretože cieľom reklamy je konkrétny cieľ - to, čo sa nazýva dojem, schopnosť doručiť reklamu - je aukcia a aukcia prebieha v rozmedzí od desiatich milisekúnd do päťdesiat milisekúnd. Názov hry a často existuje stovka spoločností, ktoré teraz ponúkajú ceny v reálnom čase na každú jednotlivú reklamu umiestnenú na internete, je získať čo najviac údajov a priniesť najlepšie algoritmy, ktoré v priebehu týchto desiatich až päťdesiatich milisekúnd v priebehu 10 najväčšie množstvo údajov.
Táto zmena a posun sa odohrával v reklamnom priemysle, v každej z tých malých milisekúnd, mala časovo ohraničenú komplikáciu s najlepšími algoritmami v najväčšom množstve údajov, a preto spájate množstvo malých kúskov dát. Najnovšie informácie o adrese IP, najnovšie informácie o konkrétnej kategórii zariadení, najnovšie informácie o správaní sa webových stránok, posledné hľadané výrazy, to všetko by sa dalo zistiť v tajnej omáčke algoritmov konkrétnej spoločnosti na určenie ceny a ponuky.
Bol to fascinujúci trh, ktorého je súčasťou. Prvýkrát sme nasadili v Aerospike v roku 2010 s niektorými z prvých spoločností, ktoré vážne pôsobili v rámci ponúkania cien v reálnom čase, a potom sme dosiahli, v podstate tento front-end ukladací údaje o správaní, pre väčšinu spoločností v tomto space. Od tej doby sme zistili, že ide o konkrétnu architektúru, ktorú podrobne popíšem v priebehu tejto prezentácie, že všetko sa dialo v rokoch 2010, 2011, 2013 a stále sa vyvíja. Reklama je veľmi dynamický trh.
Ale taký VIP zážitok si môžete predstaviť ako umiestnenie správnej reklamy, nie reklamy na detské výrobky, pretože nemám žiadne deti, takže nebudem mať účinnú reklamu, ak je umiestnená na to, ale ak ide o rýchle autá, je to druh reklamy, ktorú umiestniť na Briana. To je skutočne ten typ VIP zážitku v obchodoch, či už ide o zľavu alebo nie, ak ste na maloobchodnej stránke, dokonca aj v oblasti odhaľovania podvodov. Je to normálny vzor konkrétnej osoby alebo konkrétnej kreditnej karty? Všetky tieto formy technológie analýzy v reálnom čase, behaviorálnej predikcie, prediktívnej analýzy, dnes vyčnievajú z reklamného priemyslu, ktorý to už niekoľko rokov robí pre zábavu a zisk a skutočne prichádza do maloobchodu. a bankovníctvo a odhaľovanie podvodov atď. prostredníctvom konkrétnej architektúry. Aerospike má teda tú česť byť súčasťou mnohých týchto prípadov.
Architektúra, ktorú považujeme za fungujúcu a praktickú, je taká, kde namiesto vytvárania množiny otázok z aplikačného servera namiesto toho, aby sa viac výpočtov presunulo na samotný aplikačný server a potom sa databáza použila ako v podstate úložisko. motor pre objekty, o ktorých Robin hovoril. V tomto prípade si tieto architektúry v prvom rade nezamieňajú túto skutočnosť so skutočnou analýzou. Na pravej strane tejto snímky vidíte, že tu stále existuje analytika na generovanie štatistík. Sú to úlohy, ktoré často pracujú nad petabajtmi, desiatkami petabajtov údajov, ba dokonca exabajty v prípade niektorých našich veľkých zákazníkov pomocou rôznych technológií. Musíte mať veľký dátový tím, analytický tím, kvantitatívny tím a zistiť, čo, povedzme, geoprostorové súradnice záleží, aké modely fungujú z hľadiska nájdenia týchto vzťahov a vytvorenia VIP zážitku. To je celý problém sám osebe a nie problém, na ktorom sa spoločnosť Aerospike priamo zúčastnila, a pri riešení tohto druhu systému existuje veľa skvelých technológií.
To, na čo sme boli nadšení a spolupracovalo sa s priemyslom, je, ako náhle získate tieto informácie, ako sa zapájate do takých transakcií typu stroj-stroj alebo rýchle stroj-človek, kde tieto informácie beriete a uskutočňujete sú skutočné pre každú osobu, okamih za okamihom? Architektúra, ktorú sme videli pomocou tejto architektúry, je taká, že existuje aplikačný server, ktorý je napísaný a robí všetku tú matematiku a pozerá sa cez modely, ktoré ste vytvorili, a pozerá sa na nedávne správanie a robí to v podstate prostredníctvom kľúčovej paradigmy alebo aspoň veľmi ľahký druh dotazovacieho systému.
Keď sa zaoberáte druhmi údajov, o ktorých hovoríme, druh tokov, o ktorých hovoríme, s miliónmi zápisov za sekundu, miliónmi čítaní za sekundu, miliónmi a stovkami a tisíckami rozhodnutí za rok po druhé, budovanie zložitých indexov, viacrozmerných indexov, jednoducho nefunguje veľmi dobre, nie je škálovateľné. Spôsob, ako dosiahnuť túto formu rozsahu, je zapojiť veľa paralelizmu. O tom, ako to urobíme neskôr, sa trochu porozprávame. Súčasťou toho je ale aj aplikačný server bez štátnej príslušnosti napísaný vo vašom vlastnom jazyku.
Často vidíme konkrétny projekt, ktorý predpokladá nový aplikačný rámec založený na ľuďoch, ktorí tam pracujú, na technológii, ktorú používajú, a na probléme, ku ktorému sa blížia. Videli sme ľudí, ktorí používajú Python, veľa ľudí používa Javu, stále vidíme programátorov C, pretože veľa z nich je stále vysoký výkon, možno aj pomocou vecí, ako sú staré knižnice MATLAB. Aby sa mohli účinne rozhodnúť, musia sa dotknúť tisícov po tisícoch údajových bodov za sekundu.
Jednou otázkou, ktorú som sa niekedy pýtal, je: „No, Briane, či si schopný robiť milióny transakcií za sekundu, kto to potrebuje?“ Ak sa pozriete napríklad na spracovanie platieb v Severnej Amerike a spoločnosť Aerospike je zapojená do riešenia, ktoré v rámci tohto systému zabezpečujú odhaľovanie podvodov, a ktoré podporujú tvorcov aplikácií, ktorí v oblasti odhaľovania podvodov robia veľmi inovatívne veci, prechádzajú aj tie najväčšie spracovatelia platobných transakcií za sekundu. A napriek tomu, keď k nám prišla prvá spoločnosť a povedala, že sa pozerajú na používanie NoSQL a chceli vidieť, ako by naše riešenie vyzeralo ako podpora ich aplikácie, povedali, že sa chcú dotknúť 5 000 kusov údajov v 750 milisekundovom okne. Teraz zrazu máte v každom výpočte niekoľko sto obchodných transakcií a niekoľko tisíc kusov údajov a teraz ste v oblasti potreby miliónov transakcií za sekundu.
Prípad - odložiť reklamu na sekundu, prípad podvodu je fascinujúci, pretože tam, kde sú peniaze, sú podvody a predchádzanie podvodom v reálnom čase, na rozdiel od pokusu o analytické triedenie po tom, čo sa podvod stal, je skutočne priniesť online čo najviac údajov a môžete to považovať za odraz toho VIP zážitku. Chová sa tento človek tak, že sa obvykle správať nie? Pravdepodobnosť, že bude podvodným systémom, a nie vlastne táto osoba, teda stúpa. Pristupuje táto osoba zvyčajne cez určité zariadenie alebo skupinu zariadení s určitým súborom rozlíšenia obrazovky? Zvyčajne vykazujú určitý vzorec nákupného správania? Možno by sme mohli v priebehu budovania transakcie podvodom odstrániť. To by vám malo veľmi pripomínať, čo sa deje v rámci transakcie v reklamnom systéme.
Druhy systémov, ktoré riešime, sú tie, v ktorých má každý jednotlivý spracovateľ platieb veľký dátový tím, má veľa historických údajov, vytvára nové modely, s nami na Aerospike nezdieľa všetky modely, pretože naozaj tajná omáčka. Ak ste predplatiteľom spoločnosti Gartner a počuli ste, že sa Gartner hovorí o ekonomike algoritmov, jedná sa o jeden algoritmus a jednu spoločnosť, ktorá bojuje proti sebe, aby potlačila podvod a zvýšila počet úspešných transakcií, pretože tiež „ nechcem blokovať transakcie. To je druh projektov, ktoré v Aerospike hľadáme na týchto úrovniach rozsahu.
Ďalším prípadom, na ktorom sme už pracovali s finančnými spoločnosťami, je tzv. Intraday systém záznamov. V tomto prípade, čo sa deje, je druh bohatšej skúsenosti, dokonca aj v systéme maloobchodu, taký, v ktorom sa chcem pozerať na svoje konkrétne postavenie a chcem to robiť veľmi presne. Nechcem mať úlovok pred svojím systémom DB2. Namiesto toho sa chcem pozrieť na presné údaje a medzi mobilnými zariadeniami, ale aj na veci, ako je prepočítavanie rizika, prepočítavanie rizika by sa teraz malo robiť pre každú minútu, chcete prepočítať riziko každého, ako aj globálne riziko, systémové riziko v celej spoločnosti v priebehu niekoľkých minút.
A opäť je to ten istý problém. Každý účet, ktorý je konkrétny, uvažujte o ňom ako o vyhľadávaní kľúčovej hodnoty konkrétneho objektu, potom to môžete urobiť súbežne a čo je najdôležitejšie, táto paradigma vám umožňuje napísať kód a vaše algoritmy v jazyku vysokej úrovne, čo sa ľahšie ladí a rýchlejšie sa uvádza na trh. V tejto ekonomike algoritmov musím mať teraz možnosť dostať svoje algoritmy online. Toto je veľmi odlišný problém pri modelovaní a obchodných vzťahoch, v ktorých sú relačné systémy vynikajúce. Ak máte tabuľku častí a tieto časti sú priradené k objednávkam a tieto objednávky sú spojené s ľuďmi, máte obchodný proces, ktorý je možné presne modelovať a pravdepodobne sa počas celého života vášho podnikania nezmení. Nový algoritmus na nájdenie nového typu podvodu však musí byť napísaný presne a rýchlo a musí sa dostať online, aby sa obchodné rozhodnutia prijímali prinajmenšom do niekoľkých dní, ak nie rýchlejšie. NoSQL riešenie pre tento druh systému záznamu je pre týchto ľudí skutočne úžasným systémom, pretože im umožňuje rýchlo prijímať údaje, ako aj vytvárať nové algoritmy, takže nielen nový zážitok so zákazníkom v riešení problémov s mobilným telefónom, ale v skutočnosti budovanie širokej škály nových aplikácií.
V Aerospike vidíme v dlhodobom horizonte skutočnosť, že každý typ databázy, každé fyzické usporiadanie údajov na disku má svoje vlastné komponenty a v spoločnosti Aerospike sa skutočne zameriavame na tento kľúčový systém alebo systém orientovaný na roly, ako povedal Robin., s vysokou konzistentnosťou transakcií a skutočne umožňujú ľuďom, ako sú úložiská stĺpcov a veľkoobjemové dátové toky, ako aj tvrdé transakčné systémy, ktoré na ne mali ohlasovacie obmedzenia. Vidíme, že všetky sa musia vložiť do rôznych vyhľadávacích strojov. Vidíme niektoré vyhľadávacie nástroje založené na JSON. Vidíme veci ako elastické vyhľadávanie, vidíme Sparka, všetky potrebujú rôzne variácie v rôznych časoch vecí, ako sú stĺpcové obchody, ako aj riadkové obchody, čo je miesto, kde Aerospike vyniká.
Skutočne vidíme, že tieto rôzne typy a odvetvie sa dostávajú do bodu, v ktorom bude nevyhnutný výber najlepších plemien každého z nich. Bohužiaľ, kvôli realite dlhodobých analýz a dávkových úloh, analýz a prevádzkových obmedzení sa pravdepodobne nedostaneme do tej miery, že budeme mať jednu univerzálnu veľkosť, ale dostaneme sa do tej miery, že budeme schopní aby ste si mohli jasne vybrať medzi niektorými rozloženiami základných údajov.
Poďme sa na chvíľu porozprávať o inovácii blesku. Stále dostávam túto otázku, aj keď, ako už bolo spomenuté vyššie, flash s nami je už dlho. Keď sme začali Aerospike v roku 2009, keď som presvedčený, že v roku 2009, možno, áno, v roku 2009, keď spoločnosť Intel vyšla s X25, čo bol skutočne prvý flash disk SATA s posádkou na trhu, pred tým existovalo množstvo flash systémov., ale skutočne to bol ten, ktorý sa dostal do povedomia mnohých technológií. Fusion-io skutočne prinieslo záblesky na širší podnikový trh.
Čo sa teraz deje, je príchod systému s názvom NVMe. NVMe je štandard podobný SATA alebo SAS alebo dokonca SCSI, ktorý umožňuje rôznym predajcom kariet spolupracovať s ovládačmi v rámci operačného systému na vysokej úrovni účinnosti. Vytvára sa tým vyššia úroveň výkonu, predovšetkým preto, že NVMe je založený na PCIE ako jeho základnom transporte, ktorý je omnoho rýchlejší ako SATA, SAS alebo čokoľvek iné, ale tiež umožňuje vodičom najlepších plemien.
Napríklad v Linuxe je tento chlapík Jens a Jens je sprievodcom ovládačmi NVMe, Jens expo, a robí lepšiu prácu ako ktorýkoľvek jednotlivec, ktorý by Intel alebo Fusion-io mohol urobiť so svojimi jednotlivými ovládačmi, so všetkými svojimi zdrojmi. Ak máte silu samotného operačného systému, ktorý dokáže zostaviť najlepší ovládač, vidíme skutočne úžasné úrovne výkonnosti. To všetko podporuje myšlienku, že flash dokáže skutočne poskytnúť veľa nízkej latencie RAM.
Teraz je Aerospike vďaka svojmu klastrovému modelu stále vynikajúcou databázou RAM. Zistili sme však, že akonáhle robíte sieťový hop, ktorý potrebujete mať škálovateľné úložisko, už míňate najmenej päť až 50 mikrosekúnd, ďalších 70 mikrosekúnd NAND zvyčajne nie je prekážkou, a preto by ste tiež mohli použiť blesk, pretože blesk NAND je daný tým, že sa na tom už sieť zúčastňuje. Mnoho ľudí sa potom pýta, ako - to všetko znie skvele, ak kupujete vlastný hardvér, ako sa darí verejným mrakom? Myslím, že teraz nájdete, bez ohľadu na to, aký verejný cloud používate, tieto verejné oblaky majú veľmi silné bleskové ponuky. Trochu sa líši od poskytovateľa cloudu do poskytovateľa cloudu. Amazon má svoje inštancie I2, ktoré sú už podľa môjho názoru rok, dva roky, ktoré sú naozaj vysoko kvalitné flashové vymyslenia, a Aerospike má na vrchole ich rozmiestnenie.
Chcel by som zavolať konkrétne služby Google Compute, Google Compute Engine, Google Cloud, pretože podľa našich doterajších skúseností majú niektoré z najvýkonnejších zariadení a niektoré z najviac flexibilných, pokiaľ ide o vzory nasadenia. Ale tiež vidíte nové vzory nasadenia, ako je Pivotal, čo je druh verejného / súkromného sektora, takže môžete robiť správne aplikácie Pivotal tak na miestach, ktoré podporujú flash, ako aj na podporu rôznych úložných zariadení, ako aj Dockerov. Je to skutočne bod v histórii, v ktorom je flash k dispozícii nielen pre vás, aby ste si mohli kúpiť a umiestniť do svojich dátových centier, ale skutočne prepadol všetkým poskytovateľom infraštruktúry, pretože je to skutočne najlepší spôsob, ako získať systémy s vysokým IOPS na veľmi rozumná latencia.
Len jeden okamih o Aerospike - Aerospike je klastrovo distribuovaná databáza, vďaka ktorej je veľmi prístupná pre nasadenie v cloude a pre dátové centrá. Zistili sme, že flexibilita schopnosti pridávať viac údajov a vyšší výkon je v týchto druhoch nových aplikácií absolútne nevyhnutná, pretože spustíte projekt, neviete, či potrebujete päťdesiat tisíc transakcií za sekundu, sto tisíc, milióny, dva milióny, takže si chcete dať priestor na pridávanie serverov. A predsa chcete zväčšiť veľkosť tak, aby bol každý server schopný samostatne. Naozaj nechcete skončiť s piatimi stotisícovými servermi, ktoré sú databázovými servermi, ktoré sú pomalé. Scale out nie je jediná hra v meste, jej mierka a mierka, ako už povedal Dez, je tu nová os Z.
Dúfajme, že vám to dá nejaké nové predstavy o tom, ako rýchlosť a rozsah oslovuje nové trhy, a možno existujú projekty, na ktorých pracujete, na ktorých budete môcť zvážiť skutočne vybudovanie bohatších aplikácií a použitie aplikačného rámca s kľúčom alebo NoSQL databáza pod ňou. Na Aerospike som určite videl veľa našich zákazníkov a veľa našich používateľov s otvoreným zdrojom uspieť v tomto modeli a teším sa na to, že ho priemysel prijme vo väčšej miere.
Rebecca Jozwiak: Ďakujem veľmi pekne Brianovi a som si istý, že Dez a Robin pre vás majú nejaké dobré otázky. Robin?
Dez Blanchfield: Som rád, že skočím dovnútra . Robin, máš otázku? Inak mám rýchly, ktorý môžem začať.
Robin Bloor: Ospravedlňujem sa, bol som na mute. Ponoril som sa, ale nikto ma nepočul. Otázka sa mi okamžite objavila, pretože ide o veľmi sofistikovanú skupinu technologických schopností. Čo sa týka existujúcich zákazníkov, aký druh eskalácie alebo miery transakcií sa vyskytuje v súvislosti s niektorými z týchto reklamných aplikácií? Zvyšuje sa transakčná sadzba? A ak áno, za akú sadzbu?
Brian Bulkowski: Zaujímavá otázka, Robin. Každý priemysel má svoju vlastnú krivku v každej spoločnosti. Zoberme si severoamerickú reklamu, povedzme 2012, severoamerická reklama bežala pravdepodobne bližšie k 200 000 reklamám za sekundu, v akomsi štandardnom intraday, nie mojom čase, a teraz sa stupňuje pravdepodobne na približne tri až päť miliónov reklám za sekundu. Ale potom sa stala zaujímavá vec. Reklamné odvetvie sa začalo zaoberať niektorými problémami s podvodmi a časti odvetvia, ktoré sú schopné blokovať podvody, zaznamenali v niektorých našich sofistikovanejších zákazníkoch, ktorí boli schopní zistiť podvod, mierny pokles transakcií o približne dva faktory. Samozrejme, museli vykonať nejaké vyhľadávanie v databáze, aby zabránili podvodom, takže nakoniec to nakoniec bude také isté.
Zaujímavý prípad použitia je v oblasti telekomunikácií, naozaj som nespomenul, že v oblasti telekomunikácií došlo k nárastu transakcií v dôsledku fakturácie na základe každého jednotlivého paketu, ktorý prechádza sieťou mobilných telefónov. V dávnych dobách sme mali volať podrobné záznamy a raz za minútu, hovor, čo viete, mal by malý ping prejsť sieťou a má tento chlapík ešte minútu? Teraz musíme zostaviť a vyrovnať trasu na základe každého paketu na internete. To je ľúto v mobilnej sieti, ktorá je teraz náhle miliónmi paketov za sekundu a niečo, čo neustále rastie. Jeden prípad je preto, že každá aplikácia vedie pekný malý druh 2x za rok. U niektorých zákazníkov vidíme: „Ale počkajte, mám novú aplikáciu. Chcem pridať nejaké riziko k svojmu riziku. Chcem k svojim podvodom a môjmu riziku pridať ešte väčšie skúsenosti zákazníkov. “Každá z nich vytvára nové zaťaženie základnej databázy.
Robin Bloor: Áno, myslím, že to bolo to, čo som naznačoval v krátkej prezentácii, ktorú som dal, že tieto - zvykli sme si myslieť, že transakcia je, niekto niečo robí a možno existuje kaskáda udalostí a všetko sa zaznamená. a teraz má veľa transakcií obrovské množstvo vyhľadávaní a v prezentácii ste uviedli niekoľko príkladov. Preto už v skutočnosti nevykonávate transakciu, v skutočnosti vykonávate druh aplikácie, ktorá môže mať veľa, veľa prvkov.
Ďalšou otázkou, ktorú pred tým, ako ju odovzdám Dezovi - pretože sme v tejto otázke evidentne tímovo sa spájajú -, ďalšou otázkou, na ktorú by som chcel, aby ste odpovedali, ak na to dostanete primeranú odpoveď, je Dez a očakávam internet od Veci alebo internet všetkého, ako sa to niekedy nazýva, na vytvorenie pomerne dramatického množstva transakčnej prevádzky. Môžete s tým hovoriť? Je to vaša skúsenosť, priviedli vás zákazníci s týmto konkrétnym problémom a aký je váš názor na túto chvíľu?
Brian Bulkowski: Určite si myslím, že existuje trochu zmätku, a to je mierne povedané, o internete vecí. Zákazníci, ktorých zatiaľ vidím, jednoducho prinášajú internet k veciam, ktoré majú. Zamyslite sa nad týmito tlačidlami Amazonky - je to všetko Amazon - s týmito tlačidlami, nemôžete ich prehodiť a nechať ich ísť na web Walmart online. Nie je to ako prehliadač, ktorý môžete kombinovať so všetkým. Na druhú stranu sa deje stroj-to-machine, a keď pripojíte svoje vozidlo Tesla, aby ste ho mohli nabiť, spoločnosť Tesla pošle obrovský spätný tok informácií, každý jednotlivý senzor do auta, ale tie sa prenesú do počítača Tesla na analýzu a vylepšia sa akosti. Vidím, že všetky tieto stroje a všetky senzory v rámci jednej spoločnosti vytvárajú nové požiadavky.
Dnes, väčšinou dnes, to prúdi do týchto analytických systémov a berie sa do úvahy prípad Tesly; Tesla prvýkrát využila toto, podľa môjho názoru, k zlepšeniu životnosti batérie v časti „Aké sú prevádzkové teploty, aké sú zaťaženia? Pozrime sa na to, poďme navrhnúť lepšiu batériu. “Ale potom začnú premýšľať a to je všetko skvelé, to je akýsi hlboký analytický problém, ktorý je fascinujúci, ďalšia otázka znie:„ Ako môžem vylepšiť zážitok z času na čas ? "
Teraz si vezmime prípad ako Nest, kde sa pokúšate robiť prediktívnu analýzu, aby ste zmenili teplotu domu v okamihu. To je ten prípad, keď začneme vidieť v Aerospike, kde je toto obrovské dátové jazero a sú tu také obrovské analytické procesy, ale čo teraz urobím? Budem si to musieť nechať, premýšľať o tom ako o hotovosti, nejakej časti minulého týždňa, posledného mesiaca, možno aj informácií o poslednom dni, pravdepodobne na zadnom konci, pravdepodobne preto, lebo ide o jednoduchý snímač zariadení a v tom okamihu budem robiť analýzu, aby som zmenil skúsenosti. Taký druh zážitkov podobných hniezdom, pre ktoré vidím prípady použitia Aerospike.
Robin Bloor: Dobre, to, čo som očakával od internetu vecí, bolo to, že začnete dostávať prahové hodnoty a že začnú vytvárať kaskády udalostí. Videli ste niečo také, alebo ste to ešte nevideli?
Brian Bulkowski: Dez a ja sme boli - len som sa pýtal Dezovho názoru na to, keď sme boli predpremiérové chatovanie. To, čo som ešte nevidel, je druh kaskády údajov jednej spoločnosti kaskádujúcich do inej spoločnosti, že moja chladnička Samsung hovorí s mojou práčkou LG, pretože len prišlo na to, že som rozliala celú hromadu čokolády po celej podlahe, takže Ak ide o tento druh spoločnosti, ktorú prevádzkujem zariadenia podľa zariadenia, myslím, že na to stále čakám v súvislosti s internetom vecí. Myslím si, že v podnikaní a bezpečnosti existujú problémy, ktoré sú väčšinou netechnické, a preto je potrebné na ne odpovedať.
Robin Bloor: Dobre, Dez?
Dez Blanchfield: Mám skutočne veľmi silné názory na tento konkrétny posledný bod, ktorý len krátko prinesiem do rozhovoru. Myslím si, že často si firmy a technológie myslia, že vlastne riadia to, odkiaľ dopyt pochádza, ale keď sa pozrieme na to, čo sa stalo, keď sa iPhone stal vecou, a podľa môjho názoru to bol druh prvého mobilného zariadenia, ak si odpustíte slovná hračka, ale zariadenie, ktoré by sa dalo nosiť, v skutočnosti dokáže spustiť veľa malých aplikácií vo vrecku, a prinieslo to významnú transformáciu toho, čo sme považovali za počítač. Mnoho ľudí uvažuje o telefónoch iPhone, chytrých telefónoch alebo telefónoch so systémom Android ako o telefónoch, ale nie sú to vlastne iba malý počítač, ktorý spúšťa aplikácie, a jedna z aplikácií, ktoré spúšťa, umožňuje hovory, a nie sú hovory, o ktorých si myslíme, že už nie sú analógovým point-to-point hovorom, ako zdôraznil Brian, sú to malé pakety, ktoré sa smerujú okolo.
Ale častejšie ako to, čo sme videli, je toto povstanie smartphonov, ktoré sa v skutočnosti nepoužívajú na volanie, takže 98% pravdepodobnosti toho, čo vo svojom smartfóne robím, nie je telefonovanie. Je to všetko okrem hovorov, sú to aplikácie. Myslím si, že tento kaskádový efekt - a chcel by som to rýchlo položiť na otázku -, ale kaskádový efekt v skutočnosti spôsobujú spotrebitelia, a v skutočnosti mám túto jednu vložku, ktorú často vyhodím, aby som získal veľa CXO. sedieť v miestnosti a venovať pozornosť, ak si myslím, že zaspávajú s prezentáciou, ktorú robím, čo sa, dúfajme, nestáva príliš často.
Takýmto spôsobom som povedal, že v prípade narušenia, ktoré vidíte vo vašom podnikaní, sa v skutočnosti nejedná výlučne o technológiu, ale o to častejšie ako nie o to, aby vás viedli vaši zákazníci. A tak si trochu sadnú a vlastne sa čudujú, čo tým myslí? Takže keď rozmýšľam o používaní technológie, myslím tým, že sme videli USENET, videli sme všetky tieto zábavné veci, ktoré sa dejú na internete, ale veľa ľudí nepredpovedalo sociálne a ich vplyv. Každý, kto chce všetkým povedať, čo majú na raňajky, hluk, ktorý to spôsobilo, a technológiu backendu, ktorú sme mali, a potom sa reklama, samozrejme, snaží naplniť to vecami.
Myslím, že uvidíme kaskádový efekt do bodu, keď zariadenia hovoria so zariadeniami, spotrebitelia len doháňajú, čo to vlastne znamená a čo to môže urobiť. Uviedli ste zaujímavý bod, prečo tlačidlo Amazonka nebude hovoriť s Walmartom. Chystám sa zverejniť túto otázku, čo sa stane, keď Walmart získa vlastné tlačidlo, a čo potom, keď si dvadsať najlepších Amazoniek a Walmartov a ďalšie hlavné distribučné a maloobchodné siete dostanú svoje vlastné gombíky? Kam nás to vezme? Konkrétne moja otázka s Brianom bude: „Kam pôjdeme s týmto celkom novým vzorom výkonu? Ste na hranici krvácania a pracujete so spoločnosťami, ktoré to robia tak na úrovni fyzickej infraštruktúry, ako aj na úrovni prenosu údajov. Kam nás to vezme, keď príde ďalšia veľká vlna? Aký druh poznatkov o tom môžete zdieľať s tým, čo sa deje na pozadí vašej skúsenosti? “
Brian Bulkowski: Iste, myslím si, že o mnohých z týchto vecí sa zameriavam na skúsenosti používateľov a presne na to, čo ste povedali, že práve používatelia, ktorí riadia, aj keď ako technologi a podnikatelia by sme mohli prísť s šikovný nápad, ktorý si myslíme, že používatelia majú radi, a ja sa vrátim k príkladu Nest. Keď moja sestra nainštalovala Nest vo svojom dome, povedala: „Môj dom je tichší, počujem veci. Nie je to len to, že platím menej za energiu, “je, ale vy ste teraz nemohli vytrhnúť toho Nesta z rúk, pretože sa mu páči, že je v tichšom dome na rozdiel od toho, v ktorom kúrenie horí na maximum a potom sa vypne.
Otázka nakoniec znie: aké sú užívateľské skúsenosti, ktoré môžeme posilniť? Nakoniec to bude tá skúsenosť s kvalitou života, že ak budeme mať peniaze a budeme v prvom svete, zaplatíme veľa. Ukážem vám príklad z môjho domu, moja priateľka má rada studené mlieko. Má rada skutočne studené mlieko, a tak sa často musíme snažiť prísť na to, kde v chladničke bude dosť chladno a ostatné veci sa neprehriali. Je to skvelé - a povedal som svojej priateľke: „Platili by ste 10 dolárov mesačne za studené mlieko a za mrazené rezy?“ Bola ako: „Absolútne.“ A dostať 10 dolárov mesačne od akéhokoľvek spotrebiteľa. je ťažké.
Myslím si, že pri týchto skúsenostiach musíme skutočne dohliadať na to, čo je to zážitok pre spotrebiteľa, ktorý by sa skutočne mohol riadiť. Myslím, že to bolo súčasťou tajomstva iPhone. Myslím si, že je to súčasť tajomstva spoločnosti Tesla, ktorá vyrába lepšie auto so všetkými údajmi, ruší myšlienku výrobného cyklu a každoročné vydanie a neustále vylepšuje každú časť. Budeme musieť prísť s nejakými šikovnými nápadmi, ako skutočne využiť všetky tieto údaje spôsobom, ktorý je presvedčivý pre ľudské životy.
Dez Blanchfield: Áno, to je skvelý prehľad. Na základe toho, na druhom konci spektra, ktoré presne odráža najrôznejšie veci, ktoré teraz vidíme s tým, čo spotrebitelia žiadajú, a my všetci máme v dome niečo, čo je z toho chladné a teplé. Druhým koncom spektra je potom, a videli sme to v akomsi tradičnom „veľkom dátovom svete“, v ktorom sú priradenia údajov zriedkavejšie ako sliepkové zuby a tie, ktoré sú na trhu, sa ponúkajú viac, ako zarábajú CIO. v niektorých prípadoch typy spoločností, s ktorými pracujete, a typy vývoja, ktoré ste videli, je to tak, že typy vývojárov a typov dátových architektov a sieťových špeciálov sú čoraz ťažšie a ťažšie nájsť ? Potrebujeme organizácie, aby začali premýšľať o tom, ako prekonať krivku typu súboru zručností, ktorý potrebujú na pozadí pre typ vývojárov a dátových architektov? Čo vidíte na tejto úrovni, pokiaľ ide o zdroje zručností, ktorým budú rozumieť, ako teraz túto technológiu správne používať?
Brian Bulkowski: Áno, myslím si, že je to jedna z výziev, ktorým čelia organizácie, s ktorými som hovoril. Či už to bude - najhoršie problémy, o ktorých som počul, sú skutočne väčšie podniky, pretože ak poviete: „Som z tejto veľkej banky, som z Chase a ja som bol dátovým architektom, “ potom ste Dostal som na svete tvoju ustricu a tvoj plat sa zvyšuje, takže na jednom z týchto miest je problém s prácou, pretože nie je dosť ľudí, a potom sa môžeš jednoducho presúvať z jedného zamestnania do druhého. Nepočujem nič iné ako tento druh problému a to je vlastne jeden z dôvodov, prečo som sa sústredil na Aerospike pomocou nástrojov vhodných pre konkrétny projektový tím.
Namiesto toho, aby ste sa pokúsili vstúpiť do projektového tímu a povedať: „Hej, mali by ste použiť náš dopytovací jazyk.“ Pozrite sa, či títo chlapci dnes jazdia autobusom, chlapci a dievčatá, a či používajú konkrétny dopytovací jazyk. a náradie, s tým sa budú držať, a nemôžem ich hovoriť k ničomu inému. Mojím cieľom je byť schopný umiestniť druh letectva ako databázy za akékoľvek nástroje, ktoré používajú, a to je súčasť tohto nápadu, snímky, ktoré vidíte o budúcnosti databázy Poliglot. Musím podporovať vzorce aplikácií a analytiky medzi týmito mužmi, pretože je skutočne ťažké nájsť ľudí, ktorí majú matematické zázemie, ako aj štatistické schopnosti na navigáciu v tomto svete.
Dez Blanchfield: Ďalšia zaujímavá vec, ktorú si ľudia nemusia byť vedomí, myslím, že Aerospike je veľmi silný hráč vo svete s otvoreným zdrojovým kódom, chcel by som získať veľmi rýchly prehľad o tom, čo to znamená, pokiaľ ide o to, ako podniká a čo pre vás robí. Spomenuli ste, že ste pracovali priamo s ľuďmi, ktorí robia veci až po úroveň jadra vo vnútri, takže jadro Linuxu. V tomto priestore sú niektorí veľkí hráči a niektoré slávne značky, ktoré nespomenieme, ale organizácia ako Aerospike vo vašej modernejšej nedávnej histórii, zážitok z otvoreného zdroja, ako to zapadá do celkového obrazu a aké konkurenčné výhody ste videli?
Brian Bulkowski: Iste, keď sme v roku 2014 prešli na open source, urobili sme to preto, lebo sme si uvedomili, že základná infraštruktúra, ako je napríklad databáza, musí byť k dispozícii, musí byť dôveryhodná a prirodzená protiváha medzi starým uzavretým svetom. zdroj, a akonáhle investujete do konkrétnej databázy, títo ľudia vás majú na milosrdenstvo za technologický cyklus po technologickom cykle a musí existovať rovnováha. Musíme byť schopní vydávať verzie, ktoré robia nové veci, a možno je to v podnikovej verzii, potrebujeme model s duálnou licenciou, ktorý má otvorenú verziu pre ľudí, ktorí kopajú do pneumatík a robia neziskovú prácu., ako aj podnikovú verziu, ktorá je vlastníkom licencie a umožňuje neobmedzenú prácu.
A samozrejme budeme mať aj najvyššiu rýchlosť a mierku, čo je podniková verzia. Veríme v model duelovej licencie, a to bolo skvelé pre naše podnikanie. Chceme, aby ľudia začali s Aerospike, chceme, aby malé projekty kopali do pneumatík. Je super ľahké ísť do Amazonu, spustiť potvrdzovací skript a do piatich minút spustiť klaster Aerospike. Na druhej strane, chceme dať viac podnikovým zákazníkom.
Dez Blanchfield: Blížime sa k hornej časti hodiny, takže o chvíľu pôjdem späť do Rebeccy, ale keby tam bol len jeden parník, ktorý by si tam vyhodil, druh rady dali by ste ľudu, ktorý sa snaží dostať do priestoru technológie, ktorú ste uviedli na trh a ako ju plánujú prijať, čo by ste podľa nich mali urobiť, prst a začnite skúmať, ako získajú konkurenčnú výhodu z vašej platformy?
Brian Bulkowski: Iste, časť správy je, že úrovne rýchlosti a zručnosti sú teraz ľahké. Na dosiahnutie miliónov transakcií za sekundu nepotrebujete klaster Cassandra s tisícmi uzlov. Môžete to urobiť aj v prvých fázach vášho projektu. Takže veci sú oveľa jednoduchšie, ako bývali. Druhou radou je, že budete musieť prísť s, presne ako hovoríte, modely zákazníckeho matematického podnikania v oblasti obchodných procesov, ktoré využívajú všetky tieto údaje, takže dobrá správa je, že údaje sú k dispozícii, zlá správa je, že musíte nájsť nejaké vzory a presvedčivé prípady použitia.
Dez Blanchfield: Áno, skvelá rada, takže sa teraz vrátim Rebecke. Ďakujem veľmi pekne za to, že to bol skvelý malý rozhovor o technológii, vážim si to.
Rebecca Jozwiak: Ďakujem, Dez. Mám z publika niekoľko dobrých otázok. Dovoľte mi zvrhnúť túto snímku. Viem, že ste hovorili o systéme záznamov a sálových počítačov, ale ako často vidíte absolútne vyťaženie alebo je replikácia ukončením na konci dňa, o čom viac vidíte?
Brian Bulkowski: Čo vidíme v Aerospike, používa databázu NoSQL pred týmto systémom zmierenia na konci dňa. Potrebujete intraday, správnu odpoveď. Nemôžete mať nesprávnu odpoveď, a to bolo to, čo Robin povedal o majetku, je nedostatočne ocenené, ale obchodné procesy týkajúce sa právnych požiadaviek na zmierenie sa môžu značne skomplikovať a okolo desiatich rokov sú technológie a desaťročia právnych a právnych praktík okolo vykonávania zmierovania. Na Aerospike teda vidíme, že robíte svoje algoritmy v teplejšej databáze s viac transakciami za sekundu. Z právnych dôvodov však bezpodmienečne potrebujete zmierovací systém, ktorý prešiel týmito právnymi procesmi. Vidíme oboje a vidíme, že v podstate ide o dvojúrovňovú prax v oblasti IT, ktorú do určitej miery vystavujú ľudia ako Anderson Consulting a Gartner. Vidíme toho veľa.
Rebecca Jozwiak: Dobre, dobre. O túto konkrétnu snímku prejavil záujem niekto iný, uviedol, že je to skutočne zaujímavé a pýtal sa, či by ste sa mohli jednoducho venovať porovnávaniu flash verzus pamäť.
Brian Bulkowski: Iste, dobre mi dajte rýchly bočný panel, znovu, viem, že sme blízko ku koncu času. Flash je pamäť - sú to čipy - mám tendenciu myslieť na RAM. RAM má teda osobitné vlastnosti, vyžaduje veľa energie, je veľmi dobrá pri náhodných zápisoch aj náhodných čítaniach. Tam, kde je NAND schopný rýchleho náhodného čítania a nižšej sily, ale pri náhodných zápisoch je to veľmi zlé. Existujú jemné rozdiely v tom, ako tieto dva čipy fungujú na litografickej úrovni, čo vytvára množstvo technických rozdielov.
V prípade, že robíte analytiku a musíte preskočiť veľa údajov, alebo v prípade Aerospike, kde máte indexy, sú indexy stále veľmi dobré použiť v RAM kvôli paralelizmu a náhodnému prístupu. Vyžaduje sa vyššia úroveň náhodného prístupu. V Aerospike však nájdeme použitie týchto indexov na nájdenie konkrétneho objektu alebo súboru údajov, to je vhodné miesto na oslovenie NAND, pretože sa stáva akýmsi väčším úložiskom pod indexmi. To je potom jedna transakcia s úložným zariadením, ale stále aj po vykonaní mnohých možností a filtrov vo vašom indexovacom systéme.
Rebecca Jozwiak: Dobre, dobre. A potom viem, že sme už veľa hovorili o IoT a jeden komentár účastníka uviedol, že IoT je veľmi prospešný, ale myslíte si, že spoločnosti, štátne subjekty a vývojári rastú bezpečne a zabezpečujú údaje rovnakým tempom?
Brian Bulkowski: Možno, Dez, chcel by si skočiť?
Dez Blanchfield: Áno, som rád, že som do toho skočil. Myslím, že odpoveď znie nie. V skutočnosti je jednou z mojich obľúbených riadiacich liniek na túto tému veľmi, veľmi stručne to, že si myslím, že výbuch strojov medzi strojmi a všeobecný internet vecí, komunikácia a bezpečnosť, riziko v okolí, teraz sme v bode, kde vlády nemôžu držať krok s tempom zmien. A v skutočnosti vieme, že veľa organizácií nedokáže držať krok s tempom zmien. V skutočnosti, ak som to parafrázoval, miera zmeny je dnes taká veľká, že organizácie musia sprintu len držať krok, ale musia sprintu na viacerých pretekoch. Nemyslím si, že zákon a nemyslím si, že vláda všeobecne, či už na štátnej alebo federálnej úrovni, je schopná držať krok s mierou zmeny.
Moja všeobecná rada pre ľudí je teraz aktom a teraz požiadam o odpustenie. V minulosti to bolo veľa príkladov. Budú ich doháňať, ale myslím si, že v súčasnosti je na podnikoch a poskytovateľoch technológií skutočne potrebné inovovať v tomto priestore a zabezpečiť, aby sme boli oboznámení s bezpečnostnými rizikami alebo rizikami ochrany súkromia a musíme sa s nimi vysporiadať. Najmä banky, ako ste spomenuli, keď premýšľate o tom, čo banková organizácia tradične robila s vecami, ako je napr. Pranie špinavých peňazí a poznáte svojho klienta, výzvu AML / KYC, bývalo to tak, že sa snažili každé tri až päť rokov vyskúšať a spĺňať súlad.
Teraz si myslím, že je potrebné zabudovať ju do každej transakcie. Vždy ste to dokázali robiť na úrovni ponuky s reklamou a obchodom s akciami a dlhopismi a akciami. Myslím, že sme v bode, kde výkon, ktorý prinášate s platformou Aerospike, nám umožňuje teraz premýšľať o tom, ako prinášame súkromie, ako zabezpečíme bezpečnosť v tomto okamžitom reťazci rozhodnutí v reálnom čase? Takže odpoveď znie nie, nemyslím si, že vlády držia krok. Myslím si, že spoločnosti musia držať krok a myslím si, že musíme konať hneď teraz a požiadať o odpustenie neskôr.
Brian Bulkowski: Dovoľte mi tiež pridať pár bodov. Chlapci, s ktorými sa stretávam, technologické spoločnosti, s ktorými sa stretávam, si veľmi dobre uvedomujú, že sú na pravej strane zákona, a veľká časť diskusie je, je tento PII, môžem ho použiť, ako mám Používam tento konkrétny kus údajov? Aká bola jeho prozreteľnosť a je to chránené rozhodnutie alebo skúsenosť? Ako to všetko urobím? To je dobrá správa. Niekedy sa zaujímam o našu diskusiu ako spoločnosť, okolo ktorej smerujeme, a dokonca aj keď je naša spoločenská diskusia na primeranej úrovni, pokiaľ ide o využívanie nových schopností od internetu vecí až po strojové učenie, čo je jediný spôsob. triediť podľa objemu údajov, ktoré máme. Dobrá správa však je, že chlapci, s ktorými som hovoril, sú skutočne na pravej strane a snažia sa robiť právne kroky, ktoré sme urobili.
Rebecca Jozwiak: Toto sú niektoré skutočne dobré odpovede od vás oboch a ja úplne súhlasím. Nemyslím si, že bezpečnosť napreduje rýchlejšie ako vývoj technológií, najmä pokiaľ ide o internet vecí, ale musím si myslieť, že ľudia robia, čo je v ich silách, a dúfajme, že sa tam dostaneme. Vždy je trochu ťažké zostať desať krokov pred počítačovými zlodejmi a počítačovými zločincami, ale dostaneme sa tam.
Ľudia, prešli sme osem minút po špičke. Chcel by som sa poďakovať našim hosťom Brianovi Bulkowskému z Aerospike a Dez Blanchfield a Robin Bloor. Ďakujem ti veľmi pekne. Naše archívy nájdete vždy na adrese insideanalysis.com, SlideShare, YouTube. Máme veľa dobrých webcastov prichádzajúcich ľudí, je to rušný mesiac. Budúci mesiac to bude rušný mesiac, takže zostaňte naladení a dúfame, že sa s vami uvidíme nabudúce. Ďakujem ľuďom, ahoj.
