Ohjelmointi

Kuinka Apache Ranger ja Chuck Norris auttavat suojaamaan Hadoopia

Ranger-niminen Hadoop-turvallisuusprojekti nimettiin kunnianosoitukseksi Chuck Norrisille hänen Walker, Texas Ranger -roolissaan. Projektin juuret ovat XA Securessa, jonka hankki Hortonworks, ja nimettiin sitten uudelleen Argusiksi ennen kuin hän asettui Apache Software Foundation -säätiöön Rangeriksi.

Kun Hadoop aloitti, se oli joukko löyhästi kytkettyjä osia, joita käytettiin ensisijaisesti suurten Internet-yritysten, kuten Yahoon, takana. MapR, Cloudera ja Hortonworks pitivät näitä osia kääreinä jakeluihin ja markkinoivat niitä nimellä Hadoop.

Tällainen paloiteltu arkkitehtuuri ei ole epätavallista avoimen lähdekoodin maailmassa tai edes kaupallisten ohjelmistojen laajassa maailmassa. Se johtaa kuitenkin turvallisuushaasteisiin. Jotkut lukevat tämän "se on epävarmaa", mutta se ei välttämättä ole niin - vaikka se voi olla. Ongelmana on enemmän se, miten todennat käyttäjät kaikille tämän osajärjestelmän osille - ja kun olet todennanut heidät, miten valtuutat heidät tekemään vain sen, mitä tarkoitat antaa heidän tehdä?

Jokaisella Hadoopin osalla on oma LDAP- ja Kerberos-todennus, samoin kuin omat valtuutustavat ja -säännöt (ja useimmissa tapauksissa niiden erilliset toteutukset erillään). Tämä tarkoittaa, että sinun on määritettävä Kerberos tai LDAP kullekin yksittäiselle osalle ja määritettävä sitten säännöt kussakin erillisessä kokoonpanossa. Apache Ranger tarjoaa laajennuksen kuhunkin näistä Hadoopin osiin ja yhteisen todennusvaraston sekä antaa sinun määrittää käytäntöjä keskitetysti.

Ranger on selvästi Hortonworksin tukema projekti (toisin kuin Cloudera tai MapR tai nyt Databricks). Voit kertoa tämän osittain sen, miten se on nyljetty (vihreä), ja osittain sen vuoksi, mitä se tukee. Tällä hetkellä Ranger tukee seuraavia:

  • HDFS
  • Pesä
  • Myrsky
  • HBase
  • Knox
  • LANKA
  • Kafka
  • Solr

Lukuun ottamatta HDFS: ää ja HBasea, joita tuetaan osana Hadoopin ja Solrin ydintä, nämä ovat joitain "Hortonworksy" -projekteja. Nykyaikaisessa käyttöönotossa näet todennäköisesti muita komponentteja, kuten Spark tai mahdollisesti Impala (Clouderasta). Ranger on kuitenkin hieno asia.

Kuinka Ranger toimii

Rangerissa jokaiselle osalle, jota työskentelet arkiston kanssa. Nämä arkistot perustuvat taustalla olevaan laajennukseen tai agenttiin, joka toimii kyseisen komponentin kanssa.

Kuhunkin näistä arkistoista on joukko käytäntöjä, jotka liittyvät suojaamallesi resurssille (taulukko, kansio tai sarake) ja ryhmälle (kuten järjestelmänvalvojat) ja mitä he saavat tehdä kyseiseen asiaan (lue , kirjoita ja niin edelleen). Annat jokaiselle käytännölle nimen - sano: "Vain grp_nixon voi lukea apac_china-taulukkoa."

GUI, josta on keskeinen näkymä kenelle sallitaan tehdä mitä tuo kaivattua yksinkertaisuutta Hadoopin ekosysteemiin, mutta se ei ole kaikki, mitä Ranger tarjoaa. Se tarjoaa myös tarkastusten kirjaamisen. Vaikka tämä ei voi korvata kaikkia sovellustarkastusten kirjaamista, mitä ikinä haluat, jos sinun tarvitsee vain tietää kuka mitä HDFS: llä käytti tai mitä käytäntöjä noudatettiin missä, se on todennäköisesti juuri sitä mitä tarvitset.

Lisäksi Ranger voi tarjota avaimenhallintapalveluja toimiakseen HDFS: n uuden TDE: n (läpinäkyvä tietojen salaus) kanssa. Joten jos tarvitset end-to-end-salauksen ja puhtaan tavan hallita siihen liittyviä avaimia, Ranger ei ole huono paikka aloittaa.

Ranger katsoo eteenpäin

Mielestäni suurin toivomus Rangerille tulee sen laajennettavuudesta. Voit luoda omia laajennuksia alueille, joita ei ole katettu.

Jos toivoit, että tämä oli Hadoop-tietoturvan tarinan loppu, valitettavasti Clouderalla on oma Apache-projekti nimeltä Sentry (jota MapR näyttää myös tukevan), joka kattaa paljon saman alueen. Ollakseni oikeudenmukainen, Sentry oli ensin, sitten Hortonworks osti XA Securen. Sentryn dokumentaatio on käytännössä olematonta, kattavuus on rajoitetumpaa ja projektin verkkosivusto on rappeutunut (vaikka aktiviteetti GitHubissa hiljattain lisääntyi).

Hadoop-turvallisuus on mennyt pitkälle. Ranger antaa melko kattavan, joskin vielä vähän epätäydellisen tavan hallita ekosysteemiä. Reiät, jotka jatkuvat, johtuvat pääasiassa toimittajien kilpailusta koko big data-maailmassa. Ne voidaan täyttää projektin laajennettavuuden avulla, mutta olisi mukavaa nähdä lisää yhteistyötä ja yhteisöä Apache-maailmassa.

$config[zx-auto] not found$config[zx-overlay] not found