Strani

torek, 03. december 2013

Border Pairs Method—constructive MLP learning classification algorithm



Border Pairs Method (BPM) is a new constructive method for supervised learning of multilayer perceptron (MLP), which calculates, values of weights and biases directly from the geometry of learning patterns.
To determine BPM’s capabilities, we compared it with three other supervised machine learning methods: Backpropagation , SVM  and Decision Trees. The comparison were made on six databases: XOR, Triangle, Iris, Pen-Based Recognition of Handwritten Digits, Online Pen-Based Recognition of Handwritten Digits and synthetically generated noisy data. Border Pairs Method found near minimal MLP architecture in all described cases. For classification of the Iris Setosa only two border pairs (only four patterns out of 150) were enough for learning the whole data set correctly. In the classification of ‘Pen-Based Recognition of Handwritten Digits’ dataset only 200 learning patterns were used for learning. The BPM correctly identified more than 95% from 3498 handwritten digits, which did not participate in the learning proces. We are particularly satisfied with the results of online learning. The adaptability of the BPM to new incoming patterns is so high, that it easily follows and sometimes even exceeds the offline version of the algorithm. Even with a noisy data, some very good results were obtained. RMSE error of the BPM was significantly lower than that of Backpropagation, especially for the noise lower than 10%.
The initial results of the research are  good starting point for further research work. Some possible directions  are:
·      Noise reduction using border pairs.
·      Algorithm improvement - better integration of border pairs.


Link to the scientific paper
Link to the Book

Bojan PLOJ, PhD



torek, 26. november 2013

Promocija

   Raziskovalno delo me je že od nekdaj veselilo, dokler se pred nekaj leti nisem vprašal ali zmorem osvojiti tudi naziv "doktor znanosti". Rekel sem si : "poskusi, sicer ne boš nikoli izvedel!" in se lotil študija. Za razliko od dodiplomskega študija, je podiplomski pretežno sestavljen iz individualnega raziskovalnega dela, ki  me je razveseljevalo, mi polnilo dušo in mi omogočalo osebno rast. Bilo je kot čarobno popotovanje po obljubljeni deželi, ki jo je pred tem obiskalo le malo ljudi. Nekajkrat sem imel občutek, da sem bil celo prvi, ki pušča odtise svojih stopal v neobljudenih predelih prostrane skrivnostne dežele. Počutil sem se kot Krištof Kolumb, ko je na plovbi v neznano odkrival nov svet.
   Navdihujočemu raziskovanju je sledilo nekoliko manj zanimivo pisanje poročil, znanstvenih člankov in disertacije. To je pač nujno zlo, ki spremlja radosti odkrivanja novega, saj med znanstveniki velja nenapisano pravilo: "kar ni objavljeno, to ne obstaja". Tudi ta ovira je bila kaj kmalu  premagana. Kolegi iz celega sveta so priznali moj kamenček v mozaiku znanja kot izviren in tehten.
   Kot pika na "i" se je pred nekaj dnevi ob zaključku študija zgodila promocija oziroma svečana podelitev doktorske listine. Nikoli še nisem prisostvoval takšnemu dogodku, zato sem ga pričakal s še toliko večjim zanimanjem. Povabljenih nas je bilo trinajst doktorandov in med nami je bil tudi tisoči doktorand na mariborski univerzi. Svečanost ob podelitvi je bila lepa, ozračje v Slomškovi dvorani je bilo nabito s pozitivnimi čustvi. Vsi doktorandi smo bili individualno predstavljeni, vmes pa je za popestritev poskrbel akademski pevski zbor. Bilo je tudi dosti ploskanja. Zaključili smo s prigrizkom in z zdravico z žlahtno kapljico.
   Sedaj, ko je vse skupaj za menoj, si urejujem vtise in vrednotim prehojeno pot. Ponosen sem na svoj dosežek. Ne vem če bom še kdaj v življenju prejel toliko čestitk, kot sem jih ob tej priložnosti.
   Dragi bralec, če si morda v dvomih ali bi se tudi sam podal po tej poti, ti lahko le priporočam: "poskusi"!

 

torek, 20. avgust 2013

Nevronske mreže

Kaj so nevronske mreže

         V letu 2013 so svetovne vlade največ svojega raziskovalnega denarja namenile za preučevanje grafena (nanotehnologija) in za kartografiranje možganov. Slednje raziskave so še posebej zanimive za znastvenike, ki se ukvarjajo z razumevanjem možganov kot so psihologi, psihijatri in nevrologi. Širšim množicam je nekoliko manj znana veda, ki se ukvarja z napravami, ki posnemajo delovanje možganov. Takšne naprave imenujemo nevronske mreže oziroma umetne nevronske mreže in sodijo na področje umetne inteligence, ki je po menju nekaterih trenutno najbolj obetavna znanstvena disciplina. V tem sestavku se bomo z nevronskimi mrežami seznanili. 

        Začetki preučevanje možganov

        Razvoj nevronskih mrež se je posredno začel že pred več kot sto leti, ko so odkrili zgradbo in princip delovanja bioloških možganov. Takrat so ugotovili, da jih tvori veliko število medsebojno povezanih celic, ki si pošiljajo električne dražljaje. Celice so poimenovali nevroni, povezave med njimi pa sinapse. Če so dražljaji, ki prispejo v nevron, dovolj močni pride v nevronu do vžiga. To pomeni, da v nevronu nastane nov dražljaj, ki se od tam preko sinaps  prenese naprej na sosednje nevrone, kjer se zgodba ponovi. Sinapsam se med uporabo spreminja električna prevodnost. Na tak način si možgani zapisujejo izkušnje oziroma pomnijo.

       Razvoj potrebne tehnologije

       Potrebna tehnologija za posnemanje možganov je nastala na koncu druge svetovne vojne, ko se je zgodil preboj v razvoju elektronike in so nastali prvi digitalni računalniki. Takrat so nevrologi izdelali matematični model nevrona in izvedli prve simulacije možganov v računalniku. Paradoksalno pri tem je, da so potrebovali digitalini računalnik, da so lahko z njim učinkovito simulirali naše možgane, ki pa so analogni.

     Primerjava možganov z računalnikom

     Možgani, pa naj bodo pravi ali umetni, opravljajo podobne naloge kot računalniki, a se kljub temu precej razlikujejo od njih:


Računalnik
Možgani
Hitrost
 Nekaj  1.000.000.000 Hz
Nekaj  10 Hz
Zapis podatkov
Digitalno
Analogno
Paralelizem
Ne, hkrati deluje le nekaj % tranzistorjev
Da, vedno delujejo vsi nevroni
Poraba energije
Nekaj kilovatov*
Nekaj vatov
Odprnost na okvare
Ni odporen na okvare, saj že en sam pokvarjen tranzistor zaustavi cel računalnik
So odporni na okvare, saj zaradi enega mrtvega nevrona ne pride do zaustavitve celotnih možganov
* Računalnik, ki ima primerljivo zmogljivost kot možgani

Primerjajmo med seboj še princip uporabe računalnika in nevronske mreže:
  •         Računalnik pred reševanjem problema programiramo. To pomeni, da moramo najprej ljudje  najti  pot do rešitve problema, da jo lahko vnesemo v računalnik.
  •           Nevronska mreža se pred reševanjem problema uči in tako sama najde rešitev problema.


Znani so primeri, ko je nevronska mreža s samostojnim učenjem našla boljšo rešitev problema kot celotno človeštvo.

     Učenje nevronskih mrež

      Ljudska modrost pravi: »do znanja težko, z znanjem lahko«. Enako velja tudi za nevronske mreže.  Njihovo učenje oziroma strojno učenje je zahtevno, uporaba po zaključenem učenju pa enostavna. Ena od bolj zanimivih lastnosti nevronskih mrež je ravno ta, da se učijo same in zato lahko na koncu znajo več kot mi, ki smo njihov učitelj. Za učenje nevronske mreže je potrebna zbirka učnih podatkov in od njihove kvalitete je zelo odvisno kako dobra bo naučenost na koncu. Če so učni podatki pomanjkljivi ali zavajajoči nevronska mreža iz njih ne more izluščiti pravega znanja. Nasprotno pa dobri podatki omogočajo, da mreža iz njih kvaliteno izlušči bistvo oziroma znanje, kar ji med kasnejšo uporabo omogoča pravilno odgovarjanje tudi na vprašanja, ki jih med učenjem še ni srečala.
Obstaja več različnih vrst učenja. Največkrat se uporablja nadzorovano učenje. Zanj potrebujemo učne podatke za katere poznamo želene rezultate. Primer takšnega učenja je seštevanje dveh števil. Če sta podatka 1 in 2 vemo da je željen rezultat po končanem učenju 3.
Okrepčevalno učenje uporabimo, kadar poznamo želen rezultat šele po nekem zaporedju učnih podatkov. Primer takšnega učenja je šahovska igra, kjer šele na koncu zagotovo vemo kdo je bolje igral. Težko je natančno ovrednotiti posamezne poteze, saj igralci včasih žrtvujejo figuro (navidezno slaba poteza), a se jim to v kasnejših potezah lahko obrestuje. Na koncu šahovske partije  zmagovalčeve poteze proglasimo za dobre, poraženčeve pa kot slabe.
Nenadzorovano učenje uporabimo kadar želene vrednosti niso znane. To je podobno kot če bi imeli šolo brez učiteljev. V umetni inteligenci se tako učenje redko uporablja, saj je njegov rezultat dokaj kaotičen, v naravi pa se tovrstno učenje pojavlja v kombinaciji z naravno selekcijo.

      Tipična področja uporabe nevronskih mrež

      Dve najbolj znani področji uporabe nevronskih mrež sta prepoznavanje in napovedovanje. Znani primeri prepoznavanja so: prepoznavanje geometrijskih likov v risbi, črk v besedilu ali oseb na sliki. Na primer iz podatkov, ki jih zajame kamera se nevronska mreža odloča ali bo odprla vhodna vrata hiše, pri čemer seveda nočemo da  vanjo vstopajo neznanci, kakor tudi ne želimo ostati pred zaprtimi vrati svojega doma.
   Tipična primera napovedovanja sta vremenska in borzna napoved. Pri napovedovanju poskušamo iz do sedaj znanih podatkov ugotoviti kaj se bo dogajalo v bližnji prihodnosti. Na primer iz vremenskih podatkov, ki smo jih izmerili do tega trenutka lahko napovemo vreme za jutri.

     Prihodnost nevronskih mrež

     
     V preteklosti so se izmenjevala bolj in manj plodna obdobja za nevronske mreže, kar bo verjetno veljalo tudi v bodoče. Projekt kartografiranja možganov, ki smo ga omenili uvodoma, bo skoraj zagotovo prinesel koristna spoznanja na tem področju, saj je narava neizčrpen vir znanja. Med drugim se znanstveniki trudijo tudi z izdelavo vmesnika, ki bi omogočil direkten pretok podatkov v možgane in iz njih. To bi bil nekakšen lijak skozi katerega bi lahko učencem vlivali znanje v glavo. O prihodnosti nevronskih mrež precej razmišljajo tudi režiserji znanstveno fantastičnih filmov.  

ponedeljek, 04. februar 2013

Ali lahko računalnik hodi v šolo?



   Morda zveni naslov provokativno ali fantastično, vendar nam iz podjetja IBM te dni sporočajo  prav to. Svoj zmogljivi računalnik z imenom Watson so poslali v šolske klopi. In sicer kar naravnost na fakulteto. To so storili v upanju, da bo Watson postal še bolj človeški.

   V mojem prejšnjem blogu, z naslovom Umetna inteligenca, sem že omenil Watsonov nastop v znanem ameriškem TV kvizu Jeopardy, kjer je premagal dva nauspešnješa ljudska tekmovalca v celotni zgodovini kviza. Sedaj pa so si zadali še drznejši cilj.
Na fakulteti naj bi se računalnik uril predvsem v matematičnih spretnostih in v osvajanju novih pojmov. Profesorji bodo skupaj s študenti in številnimi  znastveniki pomagali izboljšat njegovo sklepanje in kognitivne sposobnosti. Hkrati si bo Watson širil tudi svoje znanje. Njegova pomnilnška zmogljivost bo pri tem ostala enaka kot je že bila takrat, ko je nastopil na TV kvizu (15 TB). Z njim se lahko sočasno sporazumeva do 20 ljudi. Študentje bodo lahko v procesu izboljšav sodelovali z uglednimi znanstveniki in si tako pridobili dragocene izkušnje.
To pa še ni vse kar Watson zmore. Razen tega, da obiskuje v šolo bo hodil tudi v službo. V bolnici bo zdravnikom pomagal pri zdravljenju bolnikov. Preučeval bo potek njihovih bolezni v preteklosti, simptome v sedanjosti in na spletu iskal najnoveša medicinska dognanja za diagnosticirano bolezen. Razen zdravnikom bo kmalu svetoval  pri njihovem delu tudi bankirjem.

Povzeto po virih IBM

PS Dragi Watson pridi kaj na obisk v Slovenijo ;)

torek, 29. januar 2013

Kako pomembna je umetna inteligenca!



Kako pomembna je umetna inteligenca!


Časnik Newyork Times je objavil prispevek v katerem napoveduje, da bo Evropska komisija v ponedeljek, 4. februarja dodelila približno 2 milijadri evrov sredstev za raziskovalne namene. Polovica teh sredstev bo namenjeno za posnemanje delovanja možganov (umetna inteligenca), druga polovica pa za raziskave grafena (nanotehnologija). Gre za največja podeljena sredstva evropskih oblasti doslej, njihov namen je vzpodbuda inovativni industriji v EU in bližnji okolici.  
S tem naj bi se ohranila znanstvena odličnost Evrope. Sredstva bodo pritekala naslednjih deset let, prispevale pa jih bodo vlade, razna podjetja in univerze. Posamezni projekti bodo dobili 54M€. O podrobnostih bo odločeno v prihodnjih mesecih.

Komentarji in všečkanje (+1) so zaželjeni!