RASA2018 || Teema lehele || English

Ülesanne 4051, punkte 3, teema: Mudeli hindamine

Ava ülesanne nr
Manustatud failis on kahe käpaliseliigi esinemised ja puudumised vaadeldud kohtades ja samade kohtade protsentuaalne sarnasus esinemiskohtade näidistega.
  1. Kumma liigi esinemist/puudumist prognoosivad näidised ROC kõvera aluse pindala järgi paremini?
  2. Kui suur on mõlema liigi puhul õigete positiivste ja väärpositiivsete hinnangute proportsioon, kui valida eristustasemeks 50 protsenti sarnasust?
  3. Millise eristustaseme puhul on leiukohtade äratundmine kõige tõhusam?
Andmefail: KaksKäppa.txt

Selgitus ja lahendamisjuhised

Toimimiskõver ehk ROC (receiver operating characteristic curve ehk relative operating characteristic curve) on tundlikkuse ja spetsiifilisuse graafiline esitlus. ROC kõvera telgedel on õigete positiivsete juhtude osa ja väärpositiivsete juhtude osa erinava eristustaseme puhul. ROC kõvera järgi saab valida usaldusväärset eristustaset (kui tugev signaal viitab piisavalt kindlalt nähtuse esinemisele). ROC kõverat kasutatakse müra sisaldava numbrilise muutuja (signaali) tõhususe mõõtmiseks kaheväärtuselise muutuja prognoosimisel. ROC kõveraga iseloomustatakse eelkõige automaattuvastussüsteemide toimimiskindlust. Algselt kasutati ROC kõverat vaenlase lennukeid tuvastava radarisignaali efektiivsuse kirjeldamiseks. Tänapäeval kasutatakse ROC kõverat lisaks tehnikateadustele laialdaselt meditsiini ja psühholoogia alastes uuringutes. ROC kõver sobib iseloomustama ka liigi esinemist prognoosivat mudelit.
Vt ka artiklit ptk 3.6.3 RASA õpikus, Wikipedias ja meditsiiniarvutuste saiti.
Ülesande lahendamiseks Excelis vaata juhiseid õpikus.
  • Veebikalkulaatori kasutamisel ava lähteandmed Excelis korrasta andmed veergudesse ja kontrolli tabeli lõppu. Pane tähele, et vaatluste arv on liikidel erinev.
  • Kopeeri ühe liigi ja siis teise liigi veerud ROC lehe sisendlahtrisse. Nagu ikka, tasub enne vaadata, mis kujul peavad andmed olema.
  • Kõvera alune pind (AUC — area under curve) on tulemustes. Kuna ROC kõver kujutab proportsioone (mõlema telje vahemik on 0...1), siis on kõvera aluse pinna muutumisvahemik 0...1. Prognoosi juhuslikkusele vastab AUC = 0,5.
  • Kõige tõhusamat esinemiskohtade tuvastamist peaks näitama PPV (positive predictive value) ehk õigete otsuste osa kõigist leiukohtadest.
Vastamiseks ning teiste saadetud ja andmebaasis oleva vastuse vaatamiseks tuleb selle ainega seotud kasutajana sisse logida.