Što su veliki podaci?

Kako da

PoRyan Dube

Ažurirano dana26. ožujka 2020. godine

Kroz godine, mnogi modni riječi postaju modni u mnogim industrijama. Malo je onih koji su postali toliko popularni, i tako dugo, veliki podaci. Ali što su točno veliki podaci?

Veliki podaci odnose se na virtualni ocean informacija iz različitih izvora, analiziran i filtriran na takav način da se dobiju smisleni i djelotvorni rezultati.

Proces pretvaranja "velikih podataka" u smislene rezultate može se činiti kompliciranim i teškim. Međutim, jednom kad shvatite što su veliki podaci i kako funkcioniraju, razumijevanje kako to učiniti značajnim ne čini se tako kompliciranim.

Što su veliki podaci?

Kada čujete ljude kako govore o "velikim podacima", obično je s puno mahanja rukama i velikim riječima. Ali kada skupa spustite sve hiperbole, stvarni "podaci" zapravo su višestruki unosi podataka.

Da biste to razumjeli, može vam pomoći primjer. Recimo da imate tvrtku za proizvodnju kišobrana. Vaš marketinški odjel traži način kako bolje predvidjeti kada će potražnja na tržištu porasti.

Prije dana velikih podataka, trgovci bi proučavali tržišne trendove, slali ankete o kupcima i mnoge druge aktivnosti.

Prikupljali bi sve te podatke i pohranjivali ih u interne baze podataka svoje tvrtke. Netko je možda čak i zadužen za ažuriranje podataka marketinških istraživanja na godišnjoj ili tromjesečnoj osnovi.

Međutim, pojava velikih podataka proširuje sposobnost provođenja ove vrste istraživanja. Veliki su podaci posebno učinkoviti u prepoznavanju važnih trendova ili događaja u gotovo stvarnom vremenu.

Unosi podataka za ovu vrstu "velikih podataka" mogu uključivati ​​protoke podataka u stvarnom vremenu pisanjem koda koji se priključuje u Sučelje za programiranje aplikacija (API) mnogih različitih tvrtki koje su te podatke učinile javnim:

• Twitter i Facebook: Utvrdite kada i zašto ljudi raspravljaju o kupnji kišobrana.
• Vrijeme: Identificiranje vremenski uvjeti ili predviđanja koja bi se mogla pretvoriti u veću prodaju kišobrana.
• Tržište dionica: Sezonske promjene troškova sirovina za proizvodnju kišobrana.
• Kupca putem Interneta: Korištenje informacija iz računalni kolačići ljudi koji posjećuju katalog tvrtki da bi razumjeli ponašanje u kupnji.
• Povijest kupca: Praćenje zemljopisa i sezona trendova prodaje prodavaca.

Da bismo koristili velike podatke, marketinški tim ove tvrtke trebao bi, u nekim slučajevima, instalirati nove tehnologije.

Veliki podaci i Internet

To može uključivati ​​tehnologiju Interneta stvari (IoT) kod trgovaca koja prati i izvještava o ponašanju potrošača. Ili bi moglo uključivati ​​programera da napiše kôd potreban za sučelje s Twitterovim API-jem za filtriranje tweeta koji spominju "kišobrane" ili naziv tvrtke.

Svaka od ovih tehnologija sada je dostupna zahvaljujući internetu. Internet omogućuje bilo kome da dodiri u tokove podataka sa svih strana svijeta.

Evo kako postavljanje u vlastitom primjeru može djelovati u ovom slučaju.

Ovaj dijagram prikazuje kako se podaci ulivaju u „podatkovno jezero“ tvrtke iz različitih izvora. Dolazni podaci mogu biti različito strukturirani, ali važno je prikupiti što više podataka iz svih izvora.

Što je podatkovno jezero?

Za razliku od baze podataka koja sadrži strukturirane podatke organizirane u određene stupce i retke, jezero podataka je veliko spremište za mnogo različitih oblika podataka.

Podaci koji su pohranjeni mogu biti strukturirani ili nestrukturirani. Što znači da može imati strukturirane redove i stupce ili ne. Podaci bi mogli biti nizovi koji koriste zasebno oblikovanje za odvajanje podataka. Svaki izvor podataka može poslati podatke u jezero podataka u bilo kojem obliku.

Zamislite jezero podataka poput ogromne biblioteke koja sadrži mnoge oblike medija, poput knjiga, slika iz mikrofife i videa na DVD-ima.

Zamislite inženjera digitalne inteligencije i analizu podataka kao zaštitnika te knjižnice. Ti zaštitnici mogu digitalno izvući podatke iz knjiga, mikrofiksa i DVD-ova i pronaći načine za miješanje i kombiniranje tih podataka i učenje stvari iz povezivanja podataka.

Iz tih učenja proizlazi stvarna, djelotvorna inteligencija. Neki od ovih iz našeg primjera mogu uključivati:

• Brbljanja na Twitteru i Facebooku ukazuju na približavanje oluje u New Yorku, a tisuće kupaca planiraju kupiti kišobrane.
• Podaci o kupnji računalnih kolačića i strojevi za kupnju na malo govore da su kupci u Kaliforniji spremni platiti više za dizajnerske suncobrane nego ljudi iz Virginije.
• Velika približavanje oluje pokazuje da će veći dio Istočne obale biti prekriven kišnom olujom cijeli tjedan.

Sva ova učenja mogla bi potaknuti marketinški tim da investira u više oglašavanja geografski, gdje je potražnja za kišobranima veća. Proizvodnja bi također mogla preusmjeriti svoje proizvodne napore u ona područja svijeta bliže onim mjestima gdje je veća vjerojatnost da će se prodaja povećati.

Na taj način, koristeći velike podatke, svaka tvrtka može usmjeriti marketing i poslovanje.

Što je Hadoop?

Sljedeće je pitanje kako tvrtke obrađuju tako veliku količinu podataka i prepoznaju trendove?

Ova vrsta drobljenja podataka zahtijeva ogromne računalne resurse. Toliko toga, da tvrtke više ne koriste velika računala s osnovnim okvirom kao nekada. Mnoge od ovih usluga sada se kupuju iz oblaka. Usluge obavještavanja podataka u oblaku poput Apache Hadoop nude brojne računalne čvorove na velikoj oblačnoj mreži. Svaki od tih čvorova doprinosi moćima obrade koja je potrebna za analizu ogromnih tokova podataka iz više izvora.

Ova vrsta procesorske snage srce je strojne ili digitalne inteligencije i analize podataka. Hadoop je softverski okvir koji čini ovu čitavu mrežu masovnog rada na računskoj energiji kako je to potrebno digitalnim inteligencijama.

Jednom kada računski motor proizvede djelotvornu inteligenciju, tvrtki se obično isporučuje u obliku nadzornih ploča ili izvještaja.

Veliki podaci nisu samo glasine

Istina je da su "veliki podaci" više nego samo korporativni lingo. Mnoge tvrtke uče da boljom upotrebom podataka mogu postići brojna dostignuća.

• Proizvođači mogu poboljšati kritične proizvodne metrike poput prinosa, kvalitete i učinkovitosti.
• Trgovci na malo mogu bolje uskladiti marketing, oglašavanje i poslovne investicije na temelju signala s tržišta.
• Distributeri mogu predvidjeti potencijalne probleme u lancu opskrbe kako bi unaprijed razvili planove za izvanredna stanja.
• Novinske organizacije mogu brzo identificirati događaje koji su vrijedni informacija analizirajući javne signale na Internetu.
• Stručnjaci za cyber-sigurnost koristite signale putem interneta za prepoznavanje cyber napada dok su u tijeku.

Iako je velik dio onoga što su veliki podaci postigli posljednjih godina javnosti gotovo nevidljiv, veliki podaci zapravo su imali značajan utjecaj na svakodnevni život ljudi širom svijeta.