Suuret dataprojektit ovat hyvin kooltaan ja laajuudeltaan suuria, usein hyvin kunnianhimoisia ja aivan liian usein täydellisiä epäonnistumisia. Vuonna 2016 Gartner arvioi, että 60 prosenttia big data -projekteista epäonnistui. Vuotta myöhemmin Gartner-analyytikko Nick Heudecker sanoi, että hänen yrityksensä oli "liian konservatiivinen" 60 prosentin arvionsa mukaan ja asettanut epäonnistumisasteen lähemmäksi 85 prosenttia. Tänään hän sanoo, ettei mikään ole muuttunut.
Gartner ei ole yksin tässä arvioinnissa. Microsoftin pitkäaikainen johtaja ja (vasta äskettäin) Snowflake Computingin toimitusjohtaja Bob Muglia kertoi analytiikkasivustolle Datanami: "En löydä onnellista Hadoop-asiakasta. Se on tavallaan niin yksinkertaista. … Asiakkaita, jotka ovat tosiasiallisesti kesyttäneet Hadoopin, on todennäköisesti alle 20 ja se voi olla alle kymmenen. Se on vain pähkinää, kun otetaan huomioon, kuinka kauan kyseinen tuote, tekniikka on ollut markkinoilla ja kuinka paljon teollisuuden energiaa on kulunut siihen. " Hadoop on tietenkin moottori, joka käynnisti big data-manian.
Muut suuret tiedot tuntevat ihmiset sanovat myös, että ongelma on edelleen todellinen, vakava eikä yksinomaan tekniikan ongelma. Itse asiassa tekniikka on vähäinen epäonnistumisen syy todellisiin syyllisiin nähden. Tässä on neljä keskeistä syytä, miksi big data -projektit epäonnistuvat, ja neljä keskeistä tapaa menestyä.
Suuri dataongelma nro 1: Huono integraatio
Heudecker sanoi, että suurten tietojen epäonnistumisten takana on yksi merkittävä teknologinen ongelma, ja se on useista lähteistä peräisin olevan hiljaisen datan integrointi saadakseen oivalluksia, joita yritykset haluavat. Yhteyksien luominen hiljaisiin, vanhoihin järjestelmiin ei yksinkertaisesti ole helppoa. Integrointikustannukset ovat 5-10 kertaa ohjelmistokustannukset, hän sanoi. ”Suurin ongelma on yksinkertainen integraatio: Kuinka linkität useita tietolähteitä yhteen saadaksesi jonkinlaisen lopputuloksen? Paljon menee datajärven reittiä ja ajattelee, jos linkitän kaiken johonkin taikuuteen. Näin ei ole ”, hän sanoi.
Siled data on osa ongelmaa. Asiakkaat ovat kertoneet hänelle, että he vetivät tietoja tietojärjestelmistä yhteiseen ympäristöön, kuten datajärvi, eivätkä kyenneet selvittämään, mitä arvot tarkoittivat. "Kun vedät tietoja datajärveen, mistä tiedät, mitä tuo numero 3 tarkoittaa?" Heudecker kysyi.
Koska he työskentelevät siiloissa tai luovat tietojärviä, jotka ovat vain tietosuolia, he vain naarmuttavat pintoja siitä, mitä voisivat saavuttaa, kertoi PwC: n vanhempi tutkija Alan Morrison. "He eivät ymmärrä kaikkia datan suhteita, jotka on kaivettava tai pääteltävä ja täsmennettävä, jotta koneet pystyvät tulkitsemaan tiedot riittävästi. Heidän on luotava tietojenkerroskerros, jotta koneet voivat tulkita kaikki alla olevat kartoitetut instanssitiedot. Muuten sinulla on juuri tietojärvi, joka on datasäiliö ”, hän sanoi.
Suuri dataongelma nro 2: Määrittelemättömät tavoitteet
Luulisi, että useimmilla suurdataprojektia tekevillä ihmisillä olisi itse asiassa tavoite mielessä, mutta yllättävä määrä ei. He vain käynnistävät projektin tavoitteenaan jälkikäteen.
”Ongelma on laajennettava hyvin. Ihmiset luulevat voivansa yhdistää jäsenneltyjä ja jäsentämättömiä tietoja ja saada tarvitsemasi kuvan. Sinun on määriteltävä ongelma jo etukäteen. Mitä oivalluksia haluat saada? Siinä on määritelty ongelma selkeästi ja määriteltävä se jo etukäteen ”, kertoi Ray Integropher, tuotemarkkinointipäällikkö Talendista, dataintegraatio-ohjelmistoyritys.
Enterprise Application Consultingin pääanalyytikko Joshua Greenbaum sanoi, että osa suurten datan ja tietovarastointiprojektien haittapuolista on tärkein ohjaava kriteeri yleensä suurten tietomäärien kerääminen eikä erillisten liiketoimintaongelmien ratkaiseminen.
”Jos koot yhteen suuria määriä dataa, saat tiedonsiirron. Kutsun sitä saniteettikaatopaikaksi. Kaatopaikat eivät ole hyvä paikka löytää ratkaisuja ”, Greenbaum sanoi. "Sanon aina asiakkaille, että he päättävät, mikä erillinen yritysongelma on ensin ratkaistava, ja menen sen kanssa. Tarkastelen sitten käytettävissä olevan datan laatua ja ratkaisen datan ongelman, kun liiketoimintaongelma on tunnistettu."
"Miksi suurin osa big data -projekteista epäonnistuu? Ensinnäkin useimmilla suurdataprojektien johtajilla ei ole visioa ”, kertoi PwC: n Morrison. ”Yritykset ovat hämmentyneitä big datasta. Useimmat ajattelevat vain numeerista dataa tai mustan laatikon NLP- ja tunnistusmoottoreita, jotka tekevät yksinkertaista tekstinlouhintaa ja muita kuviotunnistuksia. "
Suuri dataongelma nro 3: Taitojen kuilu
Yritykset ajattelevat liian usein, että talon sisäiset taidot, jotka he ovat rakentaneet tietovarastointiin, kääntyvät big dataiksi, kun näin ei selvästikään ole. Ensinnäkin, tietovarastointi ja big data käsittelevät tietoja täysin vastakkaisella tavalla: Tietovarastointi tekee skeeman kirjoitettaessa, mikä tarkoittaa, että tiedot puhdistetaan, käsitellään, jäsennetään ja järjestetään ennen kuin ne koskaan menevät tietovarastoon.
Suurissa tiedoissa tietoja kerätään ja käytetään lukemisen kaavaa, jossa tiedot käsitellään samalla tavalla kuin ne luetaan. Joten jos tietojenkäsittely menee taaksepäin metodologiasta toiseen, voit lyödä vetoa siitä, että myös taidot ja työkalut ovat. Ja tämä on vain yksi esimerkki.
”Taidot ovat aina haaste. Jos puhumme suurista tiedoista 30 vuoden päästä, haasteena on edelleen ”, Heudecker sanoi. ”Monet ihmiset ripustavat hattuaan Hadoopin päälle. Asiakkaani haastavat löytämään Hadoop-resursseja. Kipinä on hieman parempi, koska pino on pienempi ja sitä on helpompi kouluttaa. Hadoop on kymmeniä ohjelmistokomponentteja. "
Suuri dataongelma nro 4: Teknisen sukupolven kuilu
Suuret dataprojektit ottavat usein vanhemmilta datasäilöiltä ja yrittävät yhdistää ne uusiin tietolähteisiin, kuten antureihin, verkkoliikenteeseen tai sosiaaliseen mediaan. Tämä ei ole täysin yrityksen vika, joka keräsi nämä tiedot aikanaan ennen ajatusta isojen tietojen analysoinnista, mutta se on kuitenkin ongelma.
"Lähes suurin puuttuva taito on taito ymmärtää, miten nämä kaksi sidosryhmää sekoitetaan saadakseen heidät toimimaan yhdessä monimutkaisten ongelmien ratkaisemiseksi", konsultti Greenbaum sanoi. ”Datasiilot voivat olla este big data -projekteille, koska mitään standardia ei ole. Joten kun he alkavat tarkastella suunnittelua, he huomaavat, että näitä järjestelmiä ei ole toteutettu millään tavalla, että näitä tietoja käytettäisiin uudestaan ", hän sanoi.
"Eri arkkitehtuureilla sinun on tehtävä käsittely eri tavalla", sanoi Talendin Christopher. "Tekniset taidot ja arkkitehtuurierot olivat yleinen syy siihen, miksi et voi ottaa nykyisiä työkaluja paikalliseen tietovarastoon ja integroida sitä big data -projektiin - koska nämä tekniikat muuttuvat liian kalliiksi uuden datan käsittelemiseksi. Joten tarvitset Hadoopand Sparkia ja sinun on opittava uusia kieliä. "
Big data -ratkaisu nro 1: Suunnittele eteenpäin
Se on vanha klisee, mutta sovellettavissa tähän: Jos et onnistu suunnittelemaan, suunnittele epäonnistumista. "Menestyneillä yrityksillä on lopputulos", Gartnerin Heudecker sanoi. ”Valitse jotain pientä ja saavutettavissa olevaa ja uutta. Älä ota vanhoja käyttötapauksia, koska saat rajoituksia. "
"Heidän on ensin ajateltava tietoja ja mallinnettava organisaationsa koneellisesti luettavalla tavalla, jotta tiedot palvelevat kyseistä organisaatiota", PwC: n Morrison sanoi.
Big data -ratkaisu nro 2: Työskentele yhdessä
Sidosryhmät jätetään liian usein big data -projektien ulkopuolelle - juuri ne ihmiset, jotka käyttäisivät tuloksia. Jos kaikki sidosryhmät tekevät yhteistyötä, he voivat voittaa monet esteet, Heudecker sanoi. "Jos ammattitaitoiset ihmiset työskentelevät yhdessä ja työskentelevät liike-elämän kanssa toimivan lopputuloksen saavuttamiseksi, se voi auttaa", hän sanoi.
Heudecker totesi, että big data -yrityksessä onnistuneet yritykset investoivat paljon tarvittaviin taitoihin. Hän näkee tämän eniten datalähtöisissä yrityksissä, kuten rahoituspalveluissa, Uberissä, Lyftissä ja Netflixissä, joissa yrityksen omaisuus perustuu hyvien, toimintakelpoisten tietojen saamiseen.
Tee siitä joukkuelaji, joka auttaa kuratoimaan, keräämään ja puhdistamaan tietoja. Se voi lisätä myös tietojen eheyttä ”, Talendin Christopher sanoi.
Big data -ratkaisu nro 3: Keskity
Ihmisillä näyttää olevan ajattelutapa, että big data -projektin on oltava massiivinen ja kunnianhimoinen. Kuten kaikki, mitä opit ensimmäistä kertaa, paras tapa menestyä on aloittaa pienestä, sitten laajentaa asteittain kunnianhimoaan ja laajuuttaan.
"Heidän pitäisi määritellä hyvin kapeasti, mitä he tekevät", Heudecker sanoi. "Heidän tulisi valita ongelma-alue ja omistaa se, kuten petosten havaitseminen, mikrosegmentointi asiakkaille tai keksiä, mitä uutta tuotetta otetaan käyttöön vuosituhannen markkinoilla."
"Päivän lopussa sinun on kysyttävä haluamastasi oivalluksesta tai liiketoimintaprosessi digitalisoitavaksi", sanoi Christopher. "Et vain heitä teknologiaa yritysongelmaan; sinun on määriteltävä se etukäteen. Datajärvi on välttämätön, mutta et halua kerätä tietoja, jos kukaan ei aio käyttää niitä yrityksessä. "
Monissa tapauksissa se tarkoittaa myös sitä, ettei omaa yritystäsi liioitella. "Jokaisessa yrityksessä, jota olen koskaan opiskellut, on vain muutama sata avainkäsitettä ja ihmissuhdetta, joita koko liiketoiminta ajaa. Kun ymmärrät sen, huomaat, että kaikki nämä miljoonat erot ovat vain pieniä muunnelmia noista muutamasta sadasta tärkeästä asiasta ", PwC: n Morrison sanoi. ”Itse asiassa huomaat, että monet pienistä muunnelmista eivät ole lainkaan muunnelmia. Ne ovat oikeastaan samoja asioita, joilla on eri nimet, erilaiset rakenteet tai erilaiset tunnisteet ", hän lisäsi.
Big data -ratkaisu nro 4: Jettison perintö
Vaikka haluat ehkä käyttää näitä teratavuja tietoja, jotka on kerätty ja tallennettu tietovarastoon, tosiasia on, että saatat palvella paremmin vain keskittymällä vasta kerättyihin tietoihin tallennusjärjestelmissä, jotka on suunniteltu suurille tiedoille ja jotka on suunniteltu poistettaviksi.
"Suosittelen ehdottomasti, ettei minua välttämättä katsella olemassa olevalle teknologiainfrastruktuurille vain siksi, että yrityksesi on sen lisenssi", konsultti Greenbaum sanoi. - Usein uudet monimutkaiset ongelmat saattavat vaatia uusia monimutkaisia ratkaisuja. Vanhojen työkalujen pudottaminen yrityksen ympärille vuosikymmeneksi ei ole oikea tapa edetä. Monet yritykset käyttävät vanhoja työkaluja, ja se tappaa projektin. ”
Morrison o = totesi: "Yritysten on lopetettava jalkojensa takertuminen omiin alusvaatteisiinsa ja vain jätettävä perintöarkkitehtuuri, joka luo enemmän siiloja." Hän sanoi myös, että heidän on lakattava odottamasta myyjiä ratkaisemaan monimutkaiset järjestelmäongelmat heidän puolestaan. ”Vuosikymmenien ajan monet näyttävät olettavan voivansa ostaa tiensä big data -ongelmasta. Kaikki big data -ongelmat ovat systeemisiä ongelmia. Kun on kyse monimutkaisista järjestelmämuutoksista, sinun on rakennettava tie ulos ", hän sanoi.
