Vuoden 2017 Amazon-osakkeenomistajakirjeessään Jeff Bezos kirjoitti jotain mielenkiintoista Alexasta, Amazonin ääniohjatusta älykkäästä avustajasta:
Yhdysvalloissa, Iso-Britanniassa ja Saksassa olemme parantaneet Alexan puhutun kielen ymmärtämistä yli 25% viimeisten 12 kuukauden aikana parantamalla Alexan koneoppimisen komponentteja ja käyttämällä osittain valvottuja oppimistekniikoita. (Nämä puolivalvotut oppimistekniikat vähenivät saman tarkkuuden parantamiseksi tarvittavien merkittyjen tietojen määrää 40 kertaa!)
Näiden tulosten perusteella voi olla mielenkiintoista kokeilla puolivalvottua oppimista omissa luokitusongelmissamme. Mutta mitä on puolivalvottu oppiminen? Mitkä ovat sen edut ja haitat? Kuinka voimme käyttää sitä?
Mitä on puolivalvottu oppiminen?
Kuten nimestä voi odottaa, puolihallittu oppiminen on ohitettua oppimisen ja valvomattoman oppimisen välillä. Ohjattu oppiminen alkaa koulutustiedoista, joihin on merkitty oikeat vastaukset (kohdearvot). Oppimisprosessin jälkeen päätät mallin, jossa on viritetty painosarja, joka voi ennustaa vastauksia vastaaville tiedoille, joita ei ole vielä merkitty tunnisteella.
Puolivalvottu oppiminen käyttää sekä koodattuja että merkitsemättömiä tietoja mallin sovittamiseen. Joissakin tapauksissa, kuten Alexassa, merkitsemättömien tietojen lisääminen parantaa mallin tarkkuutta. Muissa tapauksissa tunnistamattomat tiedot voivat pahentaa mallia; eri algoritmeilla on haavoittuvuuksia erilaisille dataominaisuuksille, kuten keskustelen alla.
Yleensä tietojen merkitseminen maksaa rahaa ja vie aikaa. Se ei ole aina ongelma, koska joissakin tietojoukoissa on jo tunnisteita. Mutta jos sinulla on paljon tietoa, joista vain osa on merkitty, niin puolivalvottu oppiminen on hyvä tekniikka kokeilla.
Puolivalvotut oppimisalgoritmit
Puoliohjattu oppiminen kestää vähintään 15 vuotta, mahdollisesti enemmän; Jerry Zhu Wisconsinin yliopistosta kirjoitti kirjallisuustutkimuksen vuonna 2005. Puoliohjattu oppiminen on kasvanut uudelleen viime vuosina, ei vain Amazonissa, koska se vähentää virhetasoa tärkeissä vertailuarvoissa.
Sebastian Ruder DeepMindistä kirjoitti huhtikuussa 2018 blogikirjoituksen joistakin puolivalvotuista oppimisalgoritmeista, jotka luovat välityspalvelintarroja. Näitä ovat itseharjoittelu, usean näkymän oppiminen ja itsensä yhdistäminen.
Itseopetus käyttää mallin omia ennusteita merkitsemättömistä tiedoista lisättäväksi merkittyyn tietojoukkoon. Olet asettanut ennusteen luotettavuustasolle olennaisesti jonkin kynnyksen, usein 0,5 tai korkeamman, jonka yli uskot ennusteen ja lisäät sen merkittyyn tietojoukkoon. Jatkat mallin uudelleenkoulutusta, kunnes ei ole enää varmoja ennusteita.
Tämä herättää kysymyksen todellisesta koulutuksessa käytettävästä mallista. Kuten useimmissa koneoppimisissa, luultavasti haluat kokeilla kaikkia kohtuullisia ehdokasmalleja toivomukseksi löytää toimiva malli.
Itseharjoittelulla on ollut vaihtelevaa menestystä. Suurin virhe on, että malli ei kykene korjaamaan omia virheitään: yksi erittäin luottavainen (mutta väärä) ennuste sanoa ulkopuolelle voi vahingoittaa koko mallia.
Usean näkymän koulutus kouluttaa erilaisia malleja datan eri näkymissä, jotka voivat sisältää erilaisia ominaisuusjoukkoja, erilaisia malliarkkitehtuureja tai erilaisia tietojen alajoukkoja. Monen näkymän harjoitusalgoritmeja on useita, mutta yksi tunnetuimmista on kolmikoulutus. Pohjimmiltaan luot kolme erilaista mallia; joka kerta, kun kaksi mallia sopivat datapisteen etiketistä, tämä tunniste lisätään kolmanteen malliin. Kuten itseharjoittelu, lopetat, kun yhtään mallista ei enää lisätä tarroja.
Itse kokoonpanossa käytetään yleensä yhtä mallia, jossa on useita eri kokoonpanoja. Tikapuuverkkomenetelmässä puhtaan esimerkin ennustetta käytetään välitystunnisteena satunnaisesti häiriintyneelle esimerkille tavoitteena kehittää melulle kestäviä ominaisuuksia.
Jerry Zhu: n vuoden 2007 opetusohjelmassa tarkastellaan myös useita muita algoritmeja. Näitä ovat generatiiviset mallit (kuten ne, joissa oletetaan Gaussin jakauma kullekin luokalle), osittain valvotut tukivektorikoneet ja kaaviopohjaiset algoritmit.
Puolivalvottu oppiminen pilvessä
Puolivalvottu oppiminen on hitaasti pääsemässä valtavirtaisiin koneoppimispalveluihin. Esimerkiksi Amazon SageMaker Ground Truth käyttää Amazon Mechanical Turk -tunnistetta manuaaliseen leimaamiseen ja kuvasarjan osan määrittämiseen ja käyttää hermoverkkokoulutusta muun kuvajoukon merkitsemiseen.
Vastaavia puolihallinnoituja oppimisjärjestelmiä voidaan käyttää muun tyyppiseen puolihallinnoituun oppimiseen, mukaan lukien luonnollisen kielen käsittely, luokittelu ja regressio useissa palveluissa. Suurimpaan osaan sinun on kuitenkin kirjoitettava oma liimakoodi puolivalvotulle algoritmille.
—
Lue lisää koneoppimisesta:
- Koneoppiminen selitetty
- Syvä oppiminen selitetty
- Luonnollisen kielen käsittely selitetty
- Ohjattu oppiminen selitetty
- Valvomaton oppiminen on selitetty
- Puoliohjattu oppiminen selitetty
- Vahvistusoppiminen selitetty
- Automaattinen koneoppiminen tai AutoML selitetty
- Tekoäly, koneoppiminen ja syvällinen oppiminen: kaikki mitä sinun tarvitsee tietää
- Parhaat koneoppimisen ja syvällisen oppimisen puitteet
- 6 tapaa saada koneoppiminen epäonnistumaan
- Koneoppimisen oppitunnit: 5 yritystä jakaa virheensä
- Paras avoimen lähdekoodin ohjelmisto koneoppimiseen
- Viisi parasta ohjelmointikieliä tekoälyn kehittämiseen
