„STELAR“ techninis aprašymas Nr. 3: Šališkumą atsižvelgiantis duomenų papildymas maisto pavojų identifikavimui

Mašininio mokymosi srityje, susijusioje su žemės ūkio ir maisto sauga, pasitaikantys šališkumai – tokie kaip klasių disbalansas, kalbos variacijos ir teksto ilgio nenuoseklumas – neigiamai veikia modelio tikslumą. Šiame straipsnyje pateikiamas struktūrizuotas procesas, skirtas šioms problemoms sušvelninti per duomenų vertinimą, valymą (dubliuotojų pašalinimą, trūkstamų verčių tvarkymą naudojant požymių maišymą) ir tikslinį duomenų papildymą. 10 metodų sistema (pvz., sinonimų pakeitimas, stiliaus perkėlimas, teksto apibendrinimas) sukuria 16 sintetinių duomenų taškų penkiose klasėse, žymiai pagerindama subalansuotą tikslumą. Tiksliai suderinti BART modeliai ir „ChatGPT 4.0“ generuoja nuoseklius, mažai nuostolių turinčius sintetinius duomenis. Tokios technikos kaip papildymas, kodavimas ir požymių atranka padidina patikimumą. Šis metodas sumažina skaičiavimo sąnaudas, tuo pačiu išlaikydamas kontekstinį tikslumą, ir siūlo mastelio keitimą leidžiantį, atsakingą AI sprendimą maisto pavojų identifikavimui. Tai yra ES finansuojamo STELAR projekto (dotacijos ID: 101070122), kuriam vadovauja Vivek Kumar iš Miuncheno Bundesverho universiteto, dalis.