Mokslotyra XXI amžiuje

Mokslo kokybės ir produktyvumo vertinimo problema visada buvo labai aktuali. Identifikuoti plačiausią pripažinimą sulaukusius mokslininkus ar mokslininkų grupes, reitinguoti mokslo įstaigas, nustatyti perspektyvias mokslo šakas verčia ir mokslo pažanga, ir riboti finansiniai ištekliai. Būtent mokslinės veiklos vertinimu ir užsiima mokslotyra daugelyje pasaulio šalių. Sukurti vertinimo modeliai, institutai, duomenų bazės. Šiuo metu pasaulio mokslotyroje taikomi įvairūs bibliometrinės statistikos metodai, apimantys duomenis apie autorius, mokslinių publikacijų skaičių, juose pateiktų citavimų skaičių, žurnalo svorio koeficientus. Visi jie turi ir privalumų, ir trūkumų. Todėl visame pasaulyje tarp mokslotyrininkų, mokslininkų, mokslą vertinančiųjų nuolat vyksta intensyvios diskusijos dėl metodų taikymo ir objektyvumo. Pasiūlyta, tyrinėjama ir jau taikoma daugybė naujų metodų. Norėtume Lietuvos skaitytojams trumpai pristatyti vertinančiosios mokslotyros naujoves, pradedant daugeliui Lietuvoje žinomu h-indeksu.

2005 m. Kalifornijos (JAV) universiteto fizikas Jorgas Hiršas (Jorge Hirsch) pasiūlė mokslininko pasiekimų vertinimo metodiką, kurią pats pavadino h indeksu: „Mokslininkas turi h indeksą, jei h iš jo/jos Np publikacijų turi bent h citavimų kiekviena, o kitos (Np – h) publikacijų turi ne daugiau kaip h citavimų kiekviena“. Pavyzdžiui, h-indeksas 5 reiškia, kad mokslininkas turi 5 publikacijas, kurių kiekviena buvo bent 5 kartus pacituota (derėtų atkreipti dėmesį į duomenų bazės apimtį). Jei h indeksas 0, gali būti, kad mokslininkas turi ne vieną publikaciją, tačiau nė viena iš jų nebuvo pacituota. Kaip savo siūlomo kriterijaus privalumą J. Hiršas nurodė, kad „h-indeksas lengvai apskaičiuojamas, atspindi mokslininko darbų reikšmę, svarbą, įtaką“ (Hirsch J. E. (2005) An index to quantify an individual‘s scientific research output), www.pnas.org/cgi/doi/10.1073/pnas.0507655102.

Savo metodo veiksmingumą J. Hiršas tikrino apskaičiuodamas h indeksus fizikų, tapusių Nobelio premijos laureatais per paskutinius 20 metų, fizikų ir astronomų, 2005 m. išrinktų į Nacionalinę mokslų akademiją, ir labiausiai cituojamų 1983–2002 m. biologijos ir biomedicinos krypties mokslininkų, remiantis Thomson Reuters ISI Higly cited duomenų baze. Išvada – h indeksas yra patikimas mokslinių pasiekimų vertinimo kriterijus.

Savo straipsnyje J. Hiršas perspėjo dėl keleto silpnųjų indekso skaičiavimo vietų. Visų pirma su daugeliu bendraautorių parašyto straipsnio autorius turės didesnį h-indeksą, nes tokie straipsniai bus daugiau cituojami. Taip pat būtina atsižvelgti į mokslo kryptį. Kaip žinoma, skirtingos mokslo šakos turi visiškai skirtingus poreikius bei tradicijas skelbtis, taip pat skirtingus citavimo rodiklius. Pats J. Hiršas, išanalizavęs fizikos ir biologijos srities mokslininkų h-indeksus, daro išvadą, kad biologų h-indeksas didesnis nei fizikų ir, beje, „mokslininkai, dirbantys nepopuliariose srityse nepasieks tokių aukštų h rodiklių, kaip tyrinėjantys aktualiausias“ (ten pat). Atkreiptinas dėmesys į nuostatą, kad lyginti dera tik vienodą mokslinės karjeros amžių turinčius mokslininkus.

Pateikiame h indekso skaičiavimo pavyzdį, kaip trys skirtingą publikacijų ir citavimų skaičių turintys mokslininkai gali turėti tokį patį ar panašų h-indeksą (žr. mokslininkų citavimų palyginimus).

Ribinės reikšmės:

Mokslininko A h-indeksas lygus 4. 4-as straipsnis cituotas 7 kartus (daugiau nei 4), 5-as straipsnis – 3 kartus (mažiau nei 5).

Mokslininko B h-indeksas lygus 4. 4-as straipsnis cituotas 4 kartus (lygu 4), 5-as straipsnis – 4 kartus (mažiau nei 5).

Mokslininko C h-indeksas lygus 5. 5-as straipsnis cituotas 5 kartus (lygu 5), 6-as straipsnis – 3 kartus (mažiau nei 6).

Neskaičiuojami straipsniai, kurių citavimų skaičius mažesnis ar lygus už straipsnio eilės numerį.

Tolesnio citavimo įtaka h indeksui:

Jei daug straipsnių rašančio mokslininko B h indeksas yra 4, visiškai nesvarbu, kiek dar bus straipsnių, kurie bus cituoti mažiau nei 4 kartus, – h indeksas išliks 4.

Jei kelis dažnai cituojamus straipsnius turinčio mokslininko A h indeksas lygus 4, visiškai nesvarbu, kad dar daugiau kartų bus cituoti staipsniai nuo 1-o iki 4-o – indeksas išliks 4, tačiau jei 5-as straipsnis bus cituotas ne mažiau 5 kartų, tada h indeksas bus 5, jei 6-as straipsnis bus cituotas 6 kartus, tada h indeksas kils iki 6 ir t. t.

h-indeksą galima drąsiai pavadinti išskirtiniu reiškiniu vertinančiosios mokslotyros (angl evaluative scientometrics) istorijoje. Pirmiausia J. Hiršas 2005 m. savo straipsnį patalpino į elektroninį archyvą arXiv.org, kur buvo iškart pastebėtas, sulaukė atgarsių ir palaikymo tokiuose žurnaluose kaip Nature ir Science. J. Hiršo straipsnis Thomson Reuters Web of Science (WoS) duomenų bazėje nuo jo publikavimo 2005 m. lapkričio mėnesį žurnale Proceedings of the National Academy of Sciences of the United States of America pacituotas 385 kartus (tikrinta ISI WoS 2009 m. lapkričio mėnesį). Jis tuoj pat susilaukė didžiulio mokslo pasaulio dėmesio, buvo gana palankiai ir entuziastingai priimtas, sukėlė daugybę diskusijų. Kaip pripažinimą galima minėti ir faktą, kad h-indeksas automatiškai pradėtas skaičiuoti WoS duomenų bazėje. Čia jis įtrauktas į pateikiamą autoriaus citavimo „ataskaitą“ (angl. citation report). O iš kitų duomenų bazių paminėtina Scopus (Elsevier). Lietuvoje ši bazė neprenumeruojama, tad laisvai prieinamama tik bendra, neišsami informacija. Apie h-indekso skaičiavimo duomenų bazėse ypatumus, šių bazių privalumus ir skirtumus rašė P. Jacsó (2008). Priklausomai nuo publikacijų, patenkančių į šias duomenų bazes, h-indekso skaičiavimai kiekvienoje DB gali skirtis.

Mokslotyrininkų nuomone, kiekvienas naujas bibliometrinis vertinimo metodas, prieš jį pradedant plačiai taikyti, turėtų būti visų pirma visapusiškai išanalizuotas ir įvertintas. Todėl žurnalo Scientometrics leidėjai, neseniai pradėtos leisti knygų serijos Scientometrics guidebook series trečiąją dalį skyrė h-indeksui The Hirsch-index for evaluating science and scientists. Its uses and misuses (2008).

Apie šią knygą skaitytojams papasakosime plačiau – ją sudaro pasaulio mastu pripažintų ekspertų grupės iš daugybės publikacijų apie h-indeksą atrinktų 23 straipsnių rinkinys iš žurnalo Scientometrics, kurio atviros prieigos Lietuvoje, deja, šiuo metu nėra. Kaip sako įžangoje sudarytojas ir redaktorius Tiboras Braunas, knygos tikslas – besidomintiems šia problematika pateikti išsamų, vertingą teoriniu ir praktiniu požiūriu vadovą, padėsiantį patiems tyrinėti, pritaikyti ir įvertinti. Straipsnių autoriai yra įvairių šalių pripažinti mokslininkai ir mokslotyrininkai, tad šių autoritetų atlikti indekso tyrimai ir nuomonės galbūt pasirodys vertos dėmesio ir Lietuvos mokslininkams.

Visų pirma pasakytina, kad naujas individualaus vertinimo kriterijus sutiktas labai palankiai. Indekso privalumas tas, kad jame dera kiekybė (straipsnių skaičius) ir kokybė (citavimas) (W. Glänzel, 2006). Taip pat siekta patikrinti h-indekso veiksmingumą praktikoje. Vienas tokių A. F. J. van Rano(A.F.J. van Raan, 2006) atliktas 147 olandų chemikų tyrėjų grupių įvertinimas, pasitelkus tradicinius bibliometrinius metodus, ekspertų vertinimas ir vertinimas pagal h-indeksą. Gauti rezultatai parodė, kad ir h-indeksas, ir bibliometriniai metodai beveik atitiko ekspertų vertinimus.

J. Hiršas h-indeksą pasiūlė kaip individualaus vertinimo metodą. Pasinaudodami tuo, kad jis tinka bet kokiai sugrupuotai duomenų sekai, nemažai mokslininkų praplėtė h-indekso pritaikymą. Lygintos tyrėjų grupės, mokslo šakos, žurnalai ar net šalys. Lietuvos mokslininkams turėtų būti įdomus E. Csajbók ir kitų autorių straipsnis, kuriame aprašytas 40 pasaulio šalių, iš kurių 27 ES šalys, tarp jų ir Lietuva, reitingavimas pagal h-indeksą. Duomenys surinkti iš Thomson Reuters Esential science indicators (ESI) duomenų bazės. Palyginimui pateikti ir JAV, Japonijos, Kanados, Kinijos duomenys. ESI bazėje pateikiama įvairių mokslo krypčių dešimties metų laikotarpio statistika – publikacijų, citavimų skaičius ir vidutinis publikacijų citavimo skaičius. Tačiau h-indeksas nėra automatiškai suskaičiuojamas. Vengrų autoriai atliko didelį ir techniškai sudėtingą tyrimą, apimantį 1996–2006 metus. Jie originalią Hiršo indekso formulę, sujungdami su dviem tradiciniais mokslometriniais metodais (publikacijų skaičius ir vidutinis citavimų skaičius, tenkantis vienai publikacijai), išvedė savo formulę. Gauti rezultatai pateikti pagal įvairias mokslo kryptis sudarytose lentelėse.

Knygos The Hirsch-index for evaluating science and scientists. Its uses and misuses (2008) redaktoriams maloniai sutikus, pateikiame vieną iš lentelių, kur šalys sureitinguotos pagal h-indeksą, parodomas ir bendras publikacijų skaičius, ir vidutinis vienai publikacijai tenkantis citavimų skaičius (žr. 1 lentelę).

Vengrų tyrimas įdomus ir tuo, kad parodė, kaip naujas, papildomas parametras gali pakeisti vertinimą. Jei vertintume tik pagal citavimų skaičių, Latvija psichiatrijos ir psichologijos mokslo kryptyje, turėdama 10 publikacijų ir citavimo vidurkį 21,4, du kartus lenkia JAV. Konkrečiau pasidomėjus ISI ESI bazėje paaiškėjo, kad absoliuti dauguma citavimų tenka vienintelei publikacijai, o tai rodo ne aukštus Latvijos psichologijos mokslo pasiekimus, o retą išimtį, vadinamąjį vieno darbo stebuklą (angl. one hit wonder). Vengrų autorių reitinge, sudarytame pagal h-indeksą, Latvija užima 27 vietą iš 38, o h lygus 1 (žr. 2 lentelę).

Straipsnio autoriai, apibendrindami savo tyrimą, pažymi, kad beveik visos naujosios ES šalys atsilieka nuo senųjų. Yra keletas išimčių. Čekija, Vengrija ir Lenkija išsiskyrė chemijos, inžinerijos ir fizikos srityse. Kaip pagrindinės atsilikimo problemos įvardijamos ekonominės ir mokslo politikos priežastys.

Dauguma mokslininkų pripažino h-indekso privalumus. Dėka Thomson Reuters greito indekso įdiegimo į WoS duomenų bazę, jį lengva taikyti. Tačiau pastebėta ir trūkumų. Pats J. Hiršas jau paminėjo mokslinės karjeros trukmės ir bendraautorių įtaką, skirtingų mokslo krypčių mokslo darbuotojų palyginimų neadekvatumą. Šalia šių trūkumų mokslininkai įvardijo ir tokius kaip nejautrumas itin cituojamoms publikacijoms, neatspindėjimas aktyvių ir neaktyvių (baigusių mokslinę karjerą) mokslininkų, savęs citavimo galima įtaka. Labai svarbus h-indekso trūkumas tas, kad lieka nuskriausti turintieji mažai, bet kokybiškų, išspausdintų didelį svorio koeficientą turinčiuose žurnaluose. Stengiantis visa tai ištaisyti ir patobulinti h-indeksą, pasiūlyta naujų, iš kurių daugiausiai dėmesio susilaukė g indeksas, nes L. Egghe pasiūlytas kriterijus, parodantis mokslininko ar žurnalo kokybę, turi atspindėti svarbiausius (top) straipsnius (L. Egghe, 2006). Jis koreguoja h-indekso nejautrumą ypač cituojamoms publikacijoms, tačiau tampa jautrus ir necituojamoms publikacijoms.

Apibendrinus visus tyrimus ir nuomones, daroma išvada, kad nebuvo atlikta ir publikuota pakankamai rimtų tyrimų apie h-indekso taikymą, kurių rezultatus būtų galima palyginti su ekspertų išvadomis. Tolesni tyrinėjimai neturėtų nukrypti į vis naujesnių indeksų kūrimą, neįvertinus jau prikurtųjų patikimumo. Todėl h-indeksas kol kas negalėtų ir neturėtų tapti vieninteliu vertinimo kriterijumi, bet gali būti taikomas greta kitų bibliometrinių metodų nepamirštant, kad jis labai priklausomas nuo mokslinės karjeros trukmės ir mokslininko pasirinktos tyrinėjimų srities. Pabaigai norėtųsi pacituoti R. Kostas (Costas) ir M. Bordons mintis, kad netinkamas kriterijų vartojimas gali sukelti visai nelauktų ir netgi priešingų rezultatų, nei laukta, pavyzdžiui, citavimo įpročių pasikeitimas, savęs citavimų skaičiaus augimas, lobizmo citavime atsiradimas, mokslininkų migracija iš nepopuliarių į populiaresnes sritis.

Audrė Trumpienė, Birutė Railienė
LMA biblioteka