{"id":634,"date":"2024-11-17T16:35:37","date_gmt":"2024-11-17T15:35:37","guid":{"rendered":"https:\/\/ekoninfochecker.efri.uniri.hr\/?p=634"},"modified":"2024-11-20T20:52:52","modified_gmt":"2024-11-20T20:52:52","slug":"bert","status":"publish","type":"post","link":"https:\/\/ekoninfochecker.efri.uniri.hr\/index.php\/2024\/11\/17\/bert\/","title":{"rendered":"BERT"},"content":{"rendered":"\n

U posljednjem desetlje\u0107u, napredak u podru\u010dju umjetne inteligencije i strojnog u\u010denja donio je zna\u010dajne promjene u mnogim industrijama, uklju\u010duju\u0107i i tehnologiju obrade prirodnog jezika (NLP). Jedan od najistaknutijih primjera takvog napretka je BERT (Bidirectional Encoder Representations from Transformers), model koji je transformirao na\u010din na koji ra\u010dunala razumiju ljudski jezik. U ovom blogu istra\u017eit \u0107emo kako se BERT mo\u017ee koristiti za klasifikacijske zadatke, posebno u kontekstu analize teksta.<\/p>\n\n\n\n

\n

BERT (Bidirectional Encoder Representations from Transformers)<\/strong> je model koji koristi tehnike strojnog u\u010denja i umjetne inteligencije za obradu prirodnog jezika (NLP). Razvijen od strane istra\u017eiva\u010da u Googleu 2018. godine, BERT je brzo postao jedan od najva\u017enijih alata u NLP-u zbog svoje svestranosti i efikasnosti. Ovaj model koristi inovativnu arhitekturu zvanu \u201ctransformatori\u201d za bolje razumijevanje konteksta unutar teksta. Evo detaljnijeg obja\u0161njenja kako BERT funkcioni\u0161e i za\u0161to je tako revolucionaran.<\/p>\n<\/blockquote>\n\n\n\n

BERT je zasnovan na konceptu transformera, posebice na njihovom enkoderskom dijelu. Transformeri su modeli koji koriste mehanizme pozornosti da bi efikasno obradili podatke koji ulaze u model. Klju\u010dna inovacija BERT-a je njegova sposobnost da obradi re\u010denice u oba smjera (bidirekcionalno) istovremeno, za razliku od prethodnih modela koji su tekst obra\u0111ivali linearno, od po\u010detka prema kraju ili obrnuto. Mehanizam pozornosti omogu\u0107ava modelu da fokusira i \u201crazumije\u201d va\u017ene dijelove teksta vi\u0161e nego manje relevantne dijelove. To poma\u017ee BERT-u da kontekstualno analizira upotrebu rije\u010di u re\u010denici, \u0161to rezultira boljim razumijevanjem zna\u010denja teksta.<\/p>\n\n\n\n

Jedna od najmo\u0107nijih karakteristika BERT-a je njegova sposobnost predobuke na velikom korpusu tekstova i prilagodbe (fine-tuning) za specifi\u010dne zadatke.<\/p>\n\n\n\n

Klasifikacija Teksta s BERT-om<\/h3>\n\n\n\n

Klasifikacija teksta jedan je od naj\u010de\u0161\u0107ih primjena BERT modela. Ovaj proces uklju\u010duje analizu i kategorizaciju tekstualnih podataka u predefinirane kategorije. Evo nekoliko koraka kako BERT mo\u017ee biti implementiran za klasifikaciju:<\/p>\n\n\n\n

    \n
  1. Predobrada Teksta<\/strong>: Prije nego \u0161to se tekst mo\u017ee obraditi pomo\u0107u BERT-a, mora se pripremiti. To uklju\u010duje tokenizaciju teksta, gdje se re\u010denice razbijaju na rije\u010di ili fraze, te konverziju tih tokena u format koji BERT mo\u017ee obraditi.<\/li>\n\n\n\n
  2. Fine-tuning Modela<\/strong>: Iako BERT dolazi prethodno obu\u010den na op\u0107em skupu podataka, za specifi\u010dne zadatke klasifikacije \u010desto je potrebno dodatno prilagoditi model. Ovaj proces, poznat kao fine-tuning, uklju\u010duje treniranje modela na skupu podataka specifi\u010dnim za odre\u0111eni zadatak kako bi se optimizirala njegova to\u010dnost.<\/li>\n\n\n\n
  3. Evaluacija Modela<\/strong>: Nakon fine-tuninga, model se testira na nevidljivom skupu podataka kako bi se procijenila njegova u\u010dinkovitost. Metrike kao \u0161to su to\u010dnost, preciznost, i F1 ocjena koriste se za mjerenje uspje\u0161nosti modela u klasifikaciji teksta.<\/li>\n<\/ol>\n\n\n\n

    <\/p>\n\n\n\n

    Model BERT bio je obu\u010den na WELFake skupu podataka koji je prethodno preveden na hrvatski jezik. Kori\u0161tenjem ovog lokaliziranog skupa podataka, model je uspio nau\u010diti specifi\u010dnosti hrvatskog jezi\u010dnog izraza. Ova prilagodba omogu\u0107ila je precizniju analizu i klasifikaciju tekstova na hrvatskom jeziku.Kada se obu\u010dava model poput BERT-a na specifi\u010dnom skupu podataka, va\u017eno je pratiti klju\u010dne metrike tijekom procesa obuke kako bi se ocijenila u\u010dinkovitost i prilagodba modela. U slu\u010daju obuke na WELFake skupu podataka koji je preveden na hrvatski, va\u017ene metrike su uklju\u010divale prosje\u010dni gubitak i to\u010dnost kroz razli\u010dite epohe, kako za treniranje tako i za validaciju.<\/p>\n\n\n\n

    Epoch<\/th>Training<\/th>Validation<\/th><\/tr>
    <\/td>Average Loss<\/td>Average Accuracy<\/td>Average Loss<\/td>Accuracy<\/td><\/tr>
    1<\/td>0.1635<\/td>92.99%<\/td>0.0966<\/td>95.50%<\/td><\/tr>
    2<\/td>0.0979<\/td>96.00%<\/td>0.1075<\/td>95.60%<\/td><\/tr>
    3<\/td>0.0626<\/td>97.60%<\/td>0.0937<\/td>95.90%<\/td><\/tr>
    4<\/td>0.0426<\/td>98.39%<\/td>0.1509<\/td>95.20%<\/td><\/tr>
    5<\/td>0.0325<\/td>98.83%<\/td>0.1224<\/td>95.90%<\/td><\/tr>
    6<\/td>0.0211<\/td>99.27%<\/td>0.1732<\/td>95.50%<\/td><\/tr>
    7<\/td>0.0173<\/td>99.38%<\/td>0.1541<\/td>96.70%<\/td><\/tr>
    8<\/td>0.0136<\/td>99.61%<\/td>0.1120<\/td>96.60%<\/td><\/tr>
    9<\/td>0.0098<\/td>99.71%<\/td>0.1577<\/td>96.20%<\/td><\/tr>
    10<\/td>0.0107<\/td>99.68%<\/td>0.1304<\/td>96.40%<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

    Ova tablica nudi jasan prikaz kako se model pona\u0161ao tijekom deset epoha obuke. Mo\u017eemo vidjeti da kako su epohe napredovale, prosje\u010dni gubitak tijekom treniranja kontinuirano je opadao, \u0161to ukazuje na to da model sve bolje razumije zadani skup podataka. S druge strane, to\u010dnost na validacijskom skupu generalno pokazuje pobolj\u0161anje, iako s nekim fluktuacijama u pojedinim epohama. Prate\u0107i ove metrike, mo\u017eemo procijeniti kako se model prilago\u0111ava i optimizira za zadatak koji mu je dodijeljen, u ovom slu\u010daju za klasifikaciju tekstova na hrvatskom jeziku prevedenih iz WELFake skupa podataka. Ovi podaci su klju\u010dni za daljnje fino pode\u0161avanje i eventualne prilagodbe u procesu obuke. Rezultati validacije BERT modela pokazuju visoku u\u010dinkovitost modela u klasifikacijskim zadacima na kojima je bio testiran. Ove metrike \u2013 to\u010dnost validacije, preciznost, odziv i F1 ocjena \u2013 klju\u010dne su za ocjenjivanje performansi modela u stvarnim primjenama. Evo detaljnije analize svake od ovih metrika i njihovog zna\u010denja u kontekstu:<\/p>\n\n\n\n

    To\u010dnost Validacije (Validation Accuracy)<\/h3>\n\n\n\n
      \n
    • To\u010dnost Validacije: 0.9640<\/strong> \u2013 Ova metrika pokazuje udio to\u010dno klasificiranih instanci u odnosu na ukupan broj instanci u validacijskom skupu. Vrijednost od 0.9640 zna\u010di da je model to\u010dno klasificirao 96.40% slu\u010dajeva, \u0161to ukazuje na visoku razinu to\u010dnosti i pokazuje da model vrlo dobro generalizira na nove podatke koji nisu kori\u0161teni tijekom treninga.<\/li>\n<\/ul>\n\n\n\n

      Preciznost (Precision)<\/h3>\n\n\n\n
        \n
      • Preciznost: 0.9648<\/strong> \u2013 Preciznost mjeri udio ispravno pozitivnih predikcija u odnosu na ukupan broj pozitivnih predikcija koje je model izvr\u0161io. Vrijednost od 0.9648 sugerira da kada model predvidi pozitivan ishod, postoji 96.48% \u0161anse da je to predvi\u0111anje to\u010dno. Ovo je osobito va\u017eno u aplikacijama gdje su posljedice la\u017eno pozitivnih rezultata ozbiljne.<\/li>\n<\/ul>\n\n\n\n

        Odziv (Recall)<\/h3>\n\n\n\n
          \n
        • Odziv: 0.9636<\/strong> \u2013 Odziv mjeri udio ispravno pozitivnih predikcija u odnosu na ukupan broj stvarnih pozitivnih slu\u010dajeva u skupu podataka. Vrijednost od 0.9636 zna\u010di da model uspje\u0161no identificira 96.36% svih stvarnih pozitivnih slu\u010dajeva. Visok odziv je klju\u010dan u situacijama gdje je kriti\u010dno ne propustiti pozitivne slu\u010dajeve, poput medicinske dijagnostike ili sigurnosnih aplikacija.<\/li>\n<\/ul>\n\n\n\n

          F1 Ocijena (F1 Score)<\/h3>\n\n\n\n
            \n
          • F1 Ocijena: 0.9639<\/strong> \u2013 F1 ocjena je harmonijski prosjek preciznosti i odziva, \u0161to ga \u010dini pouzdanom metrikom za ocjenjivanje ukupne to\u010dnosti modela, posebno kada su klase neravnomjerno zastupljene. F1 ocjena od 0.9639 ukazuje na to da model vrlo dobro balansira izme\u0111u preciznosti i odziva, \u010dine\u0107i ga pouzdanim u razli\u010ditim operativnim uvjetima.<\/li>\n\n\n\n
          • ROC AUC Ocijena: 0.9636<\/strong> \u2013 Vrijednost ROC AUC ocjene kre\u0107e se od 0 do 1, gdje ocjena 1 predstavlja savr\u0161enu sposobnost razlikovanja izme\u0111u pozitivnih i negativnih klasa, dok ocjena 0.5 ukazuje na potpunu nesposobnost modela da razlikuje klase (sli\u010dno nasumi\u010dnom poga\u0111anju). Ocjena od 0.9636 stoga ukazuje na vrlo visoku sposobnost modela da ispravno razlikuje pozitivne od negativnih slu\u010dajeva, \u0161to je posebno va\u017eno u aplikacijama gdje je va\u017ena precizna klasifikacija.<\/li>\n<\/ul>\n\n\n\n

            <\/p>\n\n\n\n

            Normalizirana matrica zabune<\/h3>\n\n\n\n

            Normalizirana matrica zabune koristan je alat za evaluaciju performansi klasifikacijskih modela, posebno kada se radi o binarnim klasifikacijama kao \u0161to su kategorije \u201cVijest\u201d i \u201cLa\u017ena vijest\u201d. Ova matrica pru\u017ea vizualni prikaz to\u010dnosti modela u predvi\u0111anju svake klase te omogu\u0107uje dublje razumijevanje kako model performira na stvarnim podacima u odnosu na predvi\u0111anja modela. U kontekstu na\u0161ih podataka, normalizirana matrica zabune za dvije klase (\u201cVijest\u201d i \u201cLa\u017ena vijest\u201d) daje sljede\u0107e vrijednosti:<\/p>\n\n\n\n

              \n
            • Pravi pozitivi (True Positives) za Vijest<\/strong>: 94.67% \u2013 Ovo zna\u010di da je model to\u010dno klasificirao 94.67% stvarnih vijesti kao vijesti.<\/li>\n\n\n\n
            • La\u017eni pozitivi (False Positives) za La\u017ena Vijest<\/strong>: 5.33% \u2013 Ovo zna\u010di da je model pogre\u0161no klasificirao 5.33% stvarnih vijesti kao la\u017ene vijesti.<\/li>\n\n\n\n
            • La\u017eni negativi (False Negatives) za Vijest<\/strong>: 1.95% \u2013 Ovo pokazuje da je model pogre\u0161no klasificirao 1.95% stvarnih la\u017enih vijesti kao vijesti.<\/li>\n\n\n\n
            • Pravi pozitivi (True Positives) za La\u017ena Vijest<\/strong>: 98.05% \u2013 Ovo zna\u010di da je model to\u010dno klasificirao 98.05% stvarnih la\u017enih vijesti kao la\u017ene vijesti.<\/li>\n<\/ul>\n\n\n\n

              Analiza Rezultata<\/h3>\n\n\n\n
                \n
              • Visoka To\u010dnost za \u201cLa\u017ena Vijest\u201d<\/strong>: Visoka vrijednost pravih pozitiva za la\u017ene vijesti (98.05%) ukazuje na to da model vrlo u\u010dinkovito identificira la\u017ene vijesti, \u0161to je klju\u010dno u kontekstima gdje je va\u017eno sprije\u010diti \u0161irenje dezinformacija.<\/li>\n\n\n\n
              • Ni\u017ea, ali jo\u0161 uvijek visoka To\u010dnost za \u201cVijest\u201d<\/strong>: Iako je to\u010dnost za prave vijesti ne\u0161to ni\u017ea (94.67%), ona je i dalje prili\u010dno visoka, \u0161to pokazuje da model generalno dobro prepoznaje i vijesti koje su istinite.<\/li>\n\n\n\n
              • Razmjerno Niski La\u017eni Pozitivi i Negativi<\/strong>: Iako svaki la\u017eni pozitiv ili negativ predstavlja potencijalni problem, relativno niske vrijednosti za la\u017ene pozitive (5.33%) i la\u017ene negativne (1.95%) pokazuju da model uspje\u0161no balansira izme\u0111u prepoznavanja istinitih i la\u017enih vijesti bez velike koli\u010dine pogre\u0161aka.<\/li>\n\n\n\n
              • <\/li>\n<\/ul>\n\n\n\n
                \"\"<\/figure>\n","protected":false},"excerpt":{"rendered":"

                U posljednjem desetlje\u0107u, napredak u podru\u010dju umjetne inteligencije i strojnog u\u010denja donio je zna\u010dajne promjene u mnogim industrijama, uklju\u010duju\u0107i i tehnologiju obrade prirodnog jezika (NLP). Jedan od najistaknutijih primjera takvog napretka je BERT (Bidirectional Encoder Representations from Transformers), model koji je transformirao na\u010din na koji ra\u010dunala razumiju ljudski jezik. U ovom blogu istra\u017eit \u0107emo kako […]<\/p>\n","protected":false},"author":1,"featured_media":1229,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[92],"tags":[],"class_list":["post-634","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-ai-provjera"],"_links":{"self":[{"href":"https:\/\/ekoninfochecker.efri.uniri.hr\/index.php\/wp-json\/wp\/v2\/posts\/634","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/ekoninfochecker.efri.uniri.hr\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/ekoninfochecker.efri.uniri.hr\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/ekoninfochecker.efri.uniri.hr\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/ekoninfochecker.efri.uniri.hr\/index.php\/wp-json\/wp\/v2\/comments?post=634"}],"version-history":[{"count":1,"href":"https:\/\/ekoninfochecker.efri.uniri.hr\/index.php\/wp-json\/wp\/v2\/posts\/634\/revisions"}],"predecessor-version":[{"id":1232,"href":"https:\/\/ekoninfochecker.efri.uniri.hr\/index.php\/wp-json\/wp\/v2\/posts\/634\/revisions\/1232"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/ekoninfochecker.efri.uniri.hr\/index.php\/wp-json\/wp\/v2\/media\/1229"}],"wp:attachment":[{"href":"https:\/\/ekoninfochecker.efri.uniri.hr\/index.php\/wp-json\/wp\/v2\/media?parent=634"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/ekoninfochecker.efri.uniri.hr\/index.php\/wp-json\/wp\/v2\/categories?post=634"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/ekoninfochecker.efri.uniri.hr\/index.php\/wp-json\/wp\/v2\/tags?post=634"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}