Alun perin eBayssa kehitetty Apache Eagle, joka sitten lahjoitettiin Apache Software Foundationille, täyttää suuren tietoturvakanavan, joka on edelleen harvaan asuttu, ellei paljas: Se haisee mahdolliset tietoturva- ja suorituskykyongelmat isojen tietokehysten avulla.
Tehdäkseen niin Eagle käyttää muita Apache-avoimen lähdekoodin komponentteja, kuten Kafka, Spark ja Storm, generoidakseen ja analysoidakseen koneoppimismalleja big data-klustereiden käyttäytymistiedoista.
Sisältä katsominen
Eaglen tiedot voivat tulla eri tietolähteiden (HDFS, Hive, MapR FS, Cassandra) toimintalokeista tai suoraan Sparkin kaltaisista kehyksistä kerätyistä suorituskykymittareista. Kafka-suoratoistokehys voi sitten siirtää tiedot reaaliaikaiseen havaintojärjestelmään, joka on rakennettu Apache Stormin kanssa, tai Apache Sparkille rakennettuun mallikoulutusjärjestelmään. Edelliset on tarkoitettu ilmoitusten ja raporttien luomiseen olemassa olevien käytäntöjen perusteella; jälkimmäinen on tarkoitettu koneoppimismallien luomiseen uusien politiikkojen ajamiseksi.
Tämä reaaliaikaisen käyttäytymisen painottaminen johtaa Eaglen dokumentaation "avainominaisuuksien" luetteloon. Sitä seuraavat "skaalautuvuus", "metatietoihin perustuva" (eli käytäntöihin tehtävät muutokset otetaan käyttöön automaattisesti, kun niiden metatietoja muutetaan) ja "laajennettavuus". Viimeinen tarkoittaa sitä, että Eaglen käyttämät tietolähteet, hälytysjärjestelmät ja käytäntömoottorit toimitetaan laajennusten avulla, eivätkä ne rajoitu pakkauksen sisältöön.
Koska Eagle koottiin Hadoop-maailman olemassa olevista osista, sillä on kaksi teoreettista etua. Yksi on vähemmän pyörän keksimistä. Kaksi, niillä, joilla on jo kokemusta kyseisistä kappaleista, on jalka ylös.
Mitä ihmiset tekevät?
Edellä mainittujen käyttötapausten, kuten työn suorituskyvyn analysointi ja poikkeavan käyttäytymisen seuranta, lisäksi Eagle voi myös analysoida käyttäjien käyttäytymistä. Tässä ei ole kyse esimerkiksi verkkosovelluksen tietojen analysoimisesta oppiaksesi sovelluksen julkisista käyttäjistä, vaan pikemminkin itse big data -kehyksen käyttäjistä - ihmiset rakentavat ja hallinnoivat Hadoop- tai Spark-takapäätä. Mukana on esimerkki tällaisen analyysin suorittamisesta, ja se voidaan ottaa käyttöön sellaisenaan tai muunnettuna.
Eagle sallii myös sovellustietojen käytön luokittelun herkkyyden mukaan. Vain HDFS-, Hive- ja HBase-sovellukset voivat käyttää tätä ominaisuutta juuri nyt, mutta sen vuorovaikutus niiden kanssa tarjoaa mallin siitä, miten myös muut tietolähteet voitaisiin luokitella.
Pidetään tämä hallinnassa
Koska suuret tietokehykset ovat nopeasti liikkuvia luomuksia, niiden ympärille on ollut vaikeaa rakentaa luotettavaa tietoturvaa. Eaglen lähtökohtana on, että se voi tarjota politiikkaan perustuvia analyyseja ja hälytyksiä mahdollisena täydennyksenä muihin projekteihin, kuten Apache Ranger. Ranger tarjoaa todennuksen ja kulunvalvonnan kaikkialla Hadoopissa ja siihen liittyvissä tekniikoissa; Kotka antaa sinulle käsityksen siitä, mitä ihmiset tekevät, kun heidät päästetään sisälle.
Suurin kysymys, joka leijuu Eaglen tulevaisuuden päällä - kyllä, jo näin varhaisessa vaiheessa - on, missä määrin Hadoopin myyjät käyttävät sitä tyylikkäästi olemassa oleviin jakeluihinsa tai käyttävät omia tietoturvatarjouksiaan. Tietoturva ja hallinto ovat pitkään olleet yksi puuttuvista osista, joista kaupalliset tarjoukset voisivat kilpailla.
