Studentski zbor Filozofskog fakulteta obratio se medijima nakon što je studentima Korpusne lingvistike i Uvoda u računalnu lingvistiku Marko Tadić odbio upisati ocjene iz ispita i onemogućio im stjecanje ECTS bodova iz njegovih predmeta dok ne odrade zadatak koji smatraju izrabljivačkim.
Uprava fakulteta nije se odredila prema sadržaju ovog slučaja, tvrdeći da su se obratili studentskoj pravobraniteljici, kao i prozvanoj strani, ali ipak zamjeraju studentima što su htjeli koristiti internu komunikaciju fakulteta za svoj poziv u pomoć.
Studentima je uvjet za upis ispita, a time i ECTS bodova, obznanjen pred ljetne ispitne rokove – 27. svibnja ove godine.
“Zadatak se sastojao od otprilike 1800 dokumenata po osobi, punih rečenica činjenične naravi preuzetih sa Hrvatske enciklopedije. Studentice i studenti morali su na svaku rečenicu u dokumentima postaviti svako pitanje na koje bi ta rečenica bila odgovor… Kasnije je opseg zadatka smanjen na 900 dokumenata”, opisao je Studentski zbor, žaleći se da takav zadatak “ne testira nikakve konkretne vještine, već predstavlja banalan, repetitivan i zamoran posao”, a iziskuje oko 50 radnih sati i služi isključivo akademskom napredovanju Marka Tadića i razvoju njegovog Velikog jezičnog modela nazvanog HR-GPT BETA.
Profesor Tadić nam nije odgovorio na pitanja, kao ni njegov tim na projektu. Dio njegovih stavova mogao se rekonstruirati iz maila koji smo dobili na uvid, a gdje se on obraća studentskoj pravobraniteljici, zboru i kolegama. Odbacuje optužbe za izrabljivanje, a to što zadatak nije naveo kao jednu od obaveza studenata na uvodnom predavanju u kolegij smatra za “lapsus mentis“. Ali to što je zaboravio reći studentima na vrijeme ne smatra problemom, jer zadatak po njemu nije zahtjevan zato što su dokumenti uglavnom kratki. Zadatak je po njemu važan, jer se studenti jedino tako susreću s jezičnom građom i problemima koji se pojavljuju u praktičnom radu. Pomaknuo je rok na 18. rujna i najavio da će svi studenti koji izvrše zadatak u skladu s praksom znanstvene čestitosti biti navedeni kao sudionici u sastavljanju jezičnog resursa, čime će zaslužiti bibliografsku referencu na samom početku znanstvene karijere.
Iako je studentima Uvoda u računalnu lingvistiku dopustio upis ECTS bodova, studentima Korpusne lingvistike još nije. To je za neke studente ozbiljan problem, jer bi nedostatak ECTS bodova mogao značiti i da neće dobiti studentski dom, što u Zagrebu nije mala stvar pogleda li se tržište najma stanova.
Studentski zbor pritom ističe da upravo njegovo reagiranje govori o tome da su studenti ucijenjeni zadatkom, odnosno da je uvjet postojao, premda se Uprava postavlja pasivno. Smatraju, naime, da je Tadić u sukobu interesa, i da je trebao dobiti opomenu kako za taj dio, tako i “za nerazmjeran omjer posla i trenutka u kojem je zadan, te za već oštećena studentska prava”. Zbor je osim toga pokušao porukom na fakultetskim mailing listama zatražiti intervenciju nadležnih službi te pozvati oštećene studente da im se jave kako bi mogli sanirati štetu koja im je učinjena.
Uprava ignorirala niz pitanja
“Elektronička je poruka, međutim, spriječena i bez objašnjenja nije propuštena na mailing liste.”, naveo je Studentski zbor.
Kada smo ih upitali o ovome, Uprava Fakulteta je poručila da se nisu postavili pasivno.
“Nakon zaprimljenog prigovora kontaktiran je predmetni nastavnik koji je potom svim uključenima dostavio svoje očitovanje i pojašnjenje daljnjeg postupanja. Isto tako o poduzetim koracima i traženju očitovanja pravodobno je obaviješten studentski pravobranitelj”, nabrojali su, ali su ignorirali naša pitanja koja su se ticala opisa zadatka i uvjetovanja ocjene, kasnog obavještavanja studenata i ugrožavanja njihovog prikupljanja potrebnih ECTS bodova za natječaje za domove.
Nisu nam rekli ni jesu li imali ranije slične pritužbe ni kako su ih rješavali, niti je li ovaj njihov zadatak vezan za Tadićev projekt razvoja HR-GPT BETA-a, koji je financiran iz programa Horizon Europske komisije. Radi se o relevantnoj informaciji, jer studenti bi trebali znati za što se koristi njihov rad i bi li u nekim drugim okolnostima postojala mogućnost da im se takav rad honorira. Najniža tarifa za studentske poslove na treniranju AI modela u SAD-u, primjerice, iznosi više desetaka po satu. To se, naravno, ne može precrtati na naše uvjete, jer je studentska satnica u Hrvatskoj 6,5 eura.
No, da za taj dio posla novac nije odobren, već da su studenti sudjelovali isključivo u istraživačkom radu, u prilog govori Tadićeva najava da će ih supotpisati.
Umjesto svega ovoga, Uprava se najviše bavila porukom Zbora prema fakultetskoj mailing-listi.
“Poruka Studentskog zbora nije proslijeđena putem središnjih fakultetskih mailing-lista jer ti kanali nisu namijenjeni distribuciji optužbi i diskreditiranju članova akademske zajednice. Držimo neprihvatljivim da se prije utvrđivanja stanja, kao već utvrđene činjenice ikome pripisuje zlouporaba položaja, sukob interesa, iživljavanje, iskorištavanje, protupravno ponašanje i slične optužbe prejudicirajući time krivnju i odgovornost osobe. Stoga navedeni postupak vidimo kao odgovornost Uprave za službene komunikacijske kanale Fakulteta, ali i zaštitu dostojanstva članova akademske zajednice.”, naveli su.
Pravobraniteljica nas uputila na – upravu
Odgovor studentske pravobraniteljice Ane Paule Novak također je daleko od merituma i uglavnom se bavi istom porukom. Po zaprimljenim pritužbama, smatra ona, ne može se reći da nije bilo postupanja, već da je “pokrenut postupak utvrđivanja relevantnih činjenica”.
“U okolnostima u kojima navodi iz pritužbi još nisu bili utvrđeni u odgovarajućem institucionalnom postupku, smatram da je Uprava bila ovlaštena procijeniti da službeni komunikacijski kanali Fakulteta nisu primjereno sredstvo za distribuciju poruke koja sadrži ozbiljne optužbe na račun pojedinog člana akademske zajednice. Naime, načela pravne sigurnosti, zaštite dostojanstva osoba i pravičnog postupka zahtijevaju da se tvrdnje o mogućim povredama propisa ili etičkih načela najprije ispitaju kroz za to predviđene institucionalne mehanizme, bez prejudiciranja odgovornosti bilo koje strane”, navela je Novak, upućujući nas na Upravu FFZG-a za pitanja koja se odnose na organizaciju nastave, provedbu znanstvenog projekta, eventualni sukob interesa te moguće disciplinske ili druge institucionalne postupke.
Ni ona nam nije rekla koliko je učestalo da studenti pišu pravobranitelju zbog sumnje da odrađuju zadatke koji više služe profesoru nego njima.
Studenti ističu da je profesor Tadić u zadnjem mailu koji su dobili napisao kako je u biti izašao ususret studentima time što je stavio zadatak kao uvjet za upis ocjene, a ne kao uvjet za izlaz na ispit, jer bi u tom slučaju studenti imali manje vremena.
“Treba napomenuti da smo u svojem prvom mailu, prije mjesec i pol dana istaknuli upravo to kao očigledan znak toga da svrha zadatka nema veze s nastavom, već profesor jednostavno želi da posao bude obavljen”, naveo je Studentski zbor nakon što smo ih upitali za komentar odgovora uprave. Dodali su da studentice kolegija Korpusna lingvistika kažu da nikome tko nije predao zadatak ocjena iz ispita nije upisana. A što se tiče Tadićevog očitovanja na koji se referira Uprava Fakulteta, Zbor navodi kako “Tadić govori kako je uvjet za upis ocjene ukinut za Uvod u računalnu lingvistiku, što nužno potvrđuje da dotad uvjet je postojao”.
Zamorno, ali korisno?
Mnogi fakulteti imaju svoje priče o profesoru kojemu studenti prevode ili pišu nešto što osvane unutar (profesorovih) korica knjige ili akademskog članka, a već neko vrijeme kod akademskih radnika posebno se cijeni disciplina izvrsnog plivanja u bazenu (europskih) projekata. No, kako se ni Uprava niti pravobraniteljica nisu dotakli merituma, a profesor Tadić i njegovi suradnici na hrvatskom LLM-u nam nisu odgovorili na pitanja, morali smo se poslužiti zaobilaznim trasama.
Htjeli smo rekonstruirali koliko je njegov postupak uobičajen – što ne mora nužno značiti da je u redu. Drugo i važnije pitanje je koliko su takvi zadaci smisleni u obrazovanju i/ili na konkretnim poslovima nakon završetka fakulteta. Zato smo odgovore potražili kod predavača i studenata koji su nakon završetka Filozofskog fakulteta ostali u ovome znanstvenom polju, a koji su pristali razgovarati s nama samo pod uvjetom da im ne objavljujemo imena.
Ne slažu se oko toga radi li se o eksploataciji, ali dodirnih točaka ima.
Primjerice, i jedni i drugi naglašavaju kako se zadnjih desetljeća razvojem računalne znanosti i pridružene joj lingvistike mijenjao i sadržaj zadataka. Isto tako, kada se govori o smislenosti takvih praktičnih zadataka, nešto što izgleda vrlo zamorno istovremeno ne mora biti besmisleno ili nevezano za rad na stvarnim projektima u budućnosti.
Ranije generacije su, na primjer, radile na proširenju hrvatskog Wordneta. Nakon toga, studenti su radili na označavanju sintakse. Kasnije su generacije sudjelovale na izradi hrvatsko-engleskog paralelnog korpusa, one još kasnije na označavanju sentimenta, dok je rad na AI modelima, odnosno generativnom velikom jezičnom modelu (LLM), (naj)novijeg datuma. Ovogodišnji studenti su dobili zadatak izrade evaluacijskog dataseta za objektivnu procjenu reasoninga AI-ja.
Studenti prijašnjih generacija smatraju da su im vježbe bile korisne za upoznavanje s alatima za jezičnu analizu. Čak i ako kasnije nisu koristili točno te alate i radili tip zadatka dobivenog na kolegiju, smatrali su se spremnijim samostalno savladati uporabu nekih drugih alata. Slažu se i da je korisnije raditi sa stvarnim materijalom nego s konstruiranim primjerima jer se studenti tako upoznaju i s podacima, koji su često “prljavi” i nije ih uvijek lako analizirati ili klasificirati.
Bez povratne informacije korist za studente je nepotpuna
Međutim, kažu nam, “ako je anotacija podataka vježba za rad s jezičnim materijalom, onda je – bez povratne informacije, koju smo mi od profesora Tadića rijetko dobivali – korist od te vježbe nepotpuna”. Povratna informacija ne mora biti individualno ispravljanje, jer ako se studentski rad ne koristi za sam projekt, za vježbu se mogu dati i podaci koji su već označeni ili na drugi način “riješeni”, makar bili i s nekog prethodnog projekta.
Od bivših studenata čujemo i da kod projekata u kojima se anotiraju podaci, ovisno o prirodi zadatka, nekad anotatori trebaju biti stručnjaci – lingvisti ili neki drugi, a nekad općenito govornici bez kompetencija u nekom užem području. U oba slučaja je vrlo česta praksa provođenja kalibracijskih (probnih) rundi označavanja. To znači da se u stvarnim zadacima označavanja rijetko očekuje da anotatori samostalno pročitaju upute, a onda odjednom označe i pošalju veći broj podataka i da je time posao završen. Također, ako je cilj praktičnog rada upoznati studente s time kako izgleda anotacijska kampanja, onda bi im koristilo saznati više i o dizajnu takvih projekata te metodama prikupljanja i analize podataka. Kao računalni lingvisti, naime, oni bi se trebali osposobiti i za provođenje takvih projekata, a ne samo za ulogu anotatora podataka.
Pitanje akademske etičnosti
Treće je pitanje akademske etičnosti. Kao što se od studenata, doktoranada i istraživača na nekoj instituciji očekuje da navode izvore, šalju nacrte istraživanja etičkom povjerenstvu, obavještavaju svoje ispitanike o svrsi istraživanja i tako dalje, nema razloga da se od profesora ne očekuje da studente obavijeste za što se točno njihov rad koristi.
Prijašnje su generacije na nekoliko kolegija označavale podatke vezane uz projekt Hrvatske ovisnosne banke stabala, ali konkretni ih profesor Tadić o tome nikada nije ni usmeno ni pismeno obavijestio, “a kamoli tražio pristanak da se naš rad koristi u doktorskim istraživanjima ili u druge istraživačke ili komercijalne svrhe”. Čak se kasnije po hodnicima faksa govorilo o tome da su označavali rečenice za doktorat tadašnjeg asistenta, iako s njim nisu imali nikakve kontakte, niti im je dolazio na nastavu. Zato ostaje zamjerka što studentima nije razjašnjeno što se s tim podacima dalje radi, kao i što nisu mogli odbiti raditi na tom konkretnom zadatku i dobiti zamjenski.
Predavači apostrofiraju da će studenti tako dobiti praktično iskustvo i upoznati se s trenutačnim projektima Odsjeka i Zavoda za lingvistiku. Podsjećaju da je studentima prihvaćena žalba koja se tiče opsega zadatka, jer je onaj od 1800 dokumenata “bio malo ambiciozan”. Za razliku od sintaktičke anotacije smatraju da je ipak bio jednostavan i da zato i nije bio nemoguć, čak ni ako se uzme u obzir koliko ga je kasno profesor Tadić komunicirao prema studentima. Za njih je dovoljno što je izrada praktičnog zadatka navedena kao obveza na kolegiju; to je automatski značilo da ne mogu dobiti ocjenu bez njega.
‘Vjerojatnije je da je cilj eksploatacija’
Prema ocjeni bivših studenata, Tadić doista nije ni prvi niti jedini koji bi kao uvjet za polaganje ispita stavio ispunjavanje praktičnog zadatka, što opet ne znači da su zamjerke neosnovane. Prije svega zato što bi drugi profesori praktične zadatke najavili na početku semestra, pravovremeno. Ovaj problem je očigledno uvidio i sam Tadić kada je odgovarao na optužbe, ispričavši se i najavivši da se zadatak može završiti i u rujnu.
Njegova isprika opet ne mijenja činjenicu da postoje studenti koji ne mogu čekati na upis do jeseni, prvenstveno zbog upisa u studentske domove, što obično znači da većina kolegija mora biti riješena prije ljetnog raspusta. Iako se od Tadića ne može očekivati da zna koji su to studenti, niti se može pretpostaviti bi li im on izašao u susret, ostaje činjenica da su malo prekasno dobili malo previše posla.
Bivši studenti zato pozdravljaju što se pitanje neplaćenog i prešućenog studentskog rada u znanosti ozbiljnije zakotrljalo u zadnje vrijeme. Profesora Tadića ne smatraju jedinim koji je u našem sustavu imao koristi. Jedan od razloga vide i u tome što ni istraživači koji žele biti pošteni i transparentni nemaju jasne smjernice kako uključiti studente u istraživanja, a da ih ne eksploatiraju.
Pojedini predavači ističu da nije riječ o korištenju studenata za “prisilni rad” jer bi to “bilo izuzetno kontraproduktivno, s obzirom na to da u svakoj generaciji ima možda dva ili tri studenta koji su motivirani i sposobni odraditi zadatak kako treba, a output ostalih treba netko iskontrolirati i popraviti da bi uopće bili iskoristiv”. Motiviranijim studentima se do sada otvarala šansa da materijal s vježbi koriste za svoje završne radove ili bi s vremenom počeli raditi kao suradnici na nastavi.
No, bivši studenti se ne bi složili. Za njih je opravdano dati studentima realne i aktualne materijale, ali je potpuno nepotrebno da se bave jednom anotacijskom ili evaluacijskom kampanjom na baš tolikoj količini podataka. Štoviše, “apsolutno je neprihvatljivo da im se to uvali u vrijeme ispitnih rokova”.
Studenti imaju pravo znati za što se koristi njihov rad, navode, i je li riječ o nečemu za što jesu ili mogu biti utrošena projektna sredstva. U tom bi se slučaju moglo za bodove odraditi minimum, a tko želi više za to dobiti honorar… Kažu nam da Tadić sigurno nije jedini koji je od svega u sustavu ima koristi, ali da često ni istraživači koji žele biti pošteni i transparentni nemaju jasne smjernice kako uključiti studente u istraživanja, a da ih ne eksploatiraju.
“Ali ako studenti dobiju 1800 dokumenata po glavi kao jedan od uvjeta za prolaz kolegija, onda je vjerojatnije da je cilj bila eksploatacija”, zaključuju.
