Pēdējos mēnešos saasinājusies diskusijas par zinātnieku vērtēšanu. Akadēmiķa Roberta Eglīša raksts [1] analizē izcilniekus, savukārt Dr. Liene Spružiniece savā rakstā [2] izcēlusi Hirša jeb h-indeksa trūkumus. Liene pamatoti norāda, ka viena un tā pati metrika dažādās nozarēs dod atšķirīgus rezultātus. Piemēram, sportā mēs nesalīdzinām augstlēcējus un kārtslēcējus pēc vienas skalas, kas balstīta uz pārvarētās latiņas augstumu. Līdzīgas atšķirības pastāv arī starp zinātnes nozarēm. Piemēram, tīrajā matemātikā pētījumi parasti saņem mazāk citātu nekā līdzvērtīgi pētījumi praktiskajās nozarēs. Tas tāpēc, ka matemātiķu publikācijas spēj izprast tikai neliels skaits speciālistu, kamēr medicīnas jomā publicētie raksti nereti ir saprotami plašākam profesionāļu lokam, tostarp praktizējošiem mediķiem. Tādēļ nav pamatoti sagaidīt, ka matemātiķi un medicīnas zinātnieki sasniegs vienādus citējamības rādītājus. Taisnība ir arī tajā, ka h-indeksa rezultāti var ciest no sistemātiskām novirzēm, un ka ar to ir iespējams manipulēt.
Neskatoties uz to, es šajā rakstā gribu aizstāvēt h-indeksu un tā pielietojumus. Precīzāk sakot, runāšu par h-indeksu, bet lielā mērā tas attieksies arī uz pārējām tam līdzīgām, citējamībā balstītām metrikām. Tām par labu ir vienkāršs arguments: alternatīvas nereti ir sliktākas.
Vispirms pāris faktu kontekstam. Pirmkārt, diskusija nav tikai par zinātnieku statusu vai sacensību par augstākiem metrikas rādītājiem, bet arī par konkrētiem vērtējumiem, kuriem ir reālas sekas. Mūsdienās h-indeksu izmanto plaši: tas palīdz pieņemt lēmumus par projektu finansēšanu, kandidātu atlasi akadēmiskajām pozīcijām un dalību prestižās zinātniskās organizācijās un padomēs. Otrkārt, es pats vairs aktīvi nedarbojos akadēmiskajā zinātnē, tāpēc man nav "sava zirdziņa" šajā jautājumā, izņemot zināmu pilsonisku un personisku ieinteresētību, lai zinātnes un zinātnieku situācija Latvijā uzlabotos.
Pieņemsim, ka h-indekss tiktu aizstāts ar citām metrikām. Kur var rasties problēmas?
1. Subjektivitāte.
Citātu skaits un citi ar to saistītie skaitliskie rādītāji ir objektīvi lielumi — ne tādā ziņā, ka tie precīzi atspoguļo zinātnieku sniegumu, bet tādā, ka tos var piemērot mehāniski, bez interpretācijām. Turpinot salīdzinājumu ar sportu, jāatzīmē, ka augstāku prestižu parasti saņem sporta veidi, kuros sasniegumus var izmērīt metros, sekundēs un kilogramos, nevis tie, kuri balstās uz tiesnešu subjektīvo vērtējumu. Protams, riski, piemēram, dopings, pastāv visos sporta veidos, taču tiesnešu vērtējumos papildu slogs ir subjektivitātes un korupcijas iespējamība.
Pieņemsim, ka zinātnieku vērtēšana tiktu balstīta tikai subjektīvos kritērijos. Vai tas patiešām veicinātu jaunās paaudzes zinātnieku izaugsmi? Mans viedoklis ir, ka šādā situācijā panākumi būtu daudz vairāk atkarīgi no zinātnieka apmeklētās universitātes reputācijas, personīgajiem sakariem ar jomas izcilniekiem un kopīgajām publikācijām ar šiem līderiem. Turklāt svarīgāki faktori kļūtu arī atbilstība konjunktūrai un konkrētā brīža politiskajām prioritātēm. Šķiet neizbēgami, ka šāda sistēma būtu mazāk meritokrātiska. Objektīvas un vienkārši izrēķināmas metrikas jaunajiem zinātniekiem dod iespēju atrast konkrētus atskaites punktus un mērķus. Savukārt perspektīva, ka jaunā zinātnieka vai zinātnieces karjera būs atkarīga no šobrīd nepazīstamu profesoru subjektīvā vērtējuma kaut kad nākotnē, balstoties uz nenoteiktiem kritērijiem, man šķiet biedējoša un demotivējoša.
Par iespējām ar h-indeksu manipulēt. Man ir pārliecība, ka sasniegt divciparu h-indeksu lielākajā daļā zinātnes nozaru ir sarežģīts un nozīmīgs sasniegums, ko jaunam zinātniekam nav iespējams īstenot tikai ar manipulācijām. Diemžēl, progresējot akadēmiskajā karjerā, h-indekss kļūst vieglāk ietekmējams, un tā uzticamība var samazināties. Tomēr, aplūkojot akadēmiķu un citu Latvijas mēroga izcilnieku metrikas, man nerodas šaubas, ka augsts h-indekss ir labs zinātnisko sasniegumu rādītājs. Lai gan neesmu pazīstams ar visu Eglīša minēto izcilnieku sasniegumiem, tāpēc nevaru spriest par katru no viņiem, pavisam noteikti tā ir, ja ņem visu grupu kopumā.
2. Lokalizētas, pasaulei neinteresantas vai nesaprotamas metrikas.
Zinātne ir starptautiska. Lai arī zinātnieku kopienām ir iespēja noteikt savas specifiskās metrikas, piemēram, pielāgojot h-indeksa prasības konkrētas apakšnozares vajadzībām, tām vajadzētu uzmanīties no pārliekas specializēšanās, kas var radīt izolācijas risku.
Latvijas zinātnē šajā ziņā esmu novērojis divas problēmas. Pirmkārt, konkursu un grantu rīkošana bieži tiek pielāgota konkrētiem cilvēkiem. Šādās situācijās minimālās prasības kļūst tik detalizētas un specifiskas, ka rodas jautājums: kas notiktu, ja uz šādu vakanci pieteiktos kāds no pasaules vadošajiem speciālistiem? Vai tiešām konkursa rīkotāji šādu kandidātu uzskatītu par nepiemērotu amatam tikai tāpēc, ka viņš vai viņa neatbilst visiem formālajiem kritērijiem?
Fundamentālo un lietišķo pētījumu projekti (FLPP) ir pozitīvs pretpiemērs. FLPP konkursi kurš no šīs problēmas izvairās, balstoties uz ārzemju ekspertiem, un ļauj gandrīz jebkuram zinātniekam iesniegt pieteikumus. Diemžēl tas nozīmē, ka FLPP konkursā h-indeksam var būt lielāka nozīme. Arī mans FLPP pieteikums savulaik tika noraidīts, kā vienu no problēmām norādot relatīvi zemo h-indeksu — kaut arī atlika tikai pagaidīt dažus gadus, lai mani tobrīd jau publicētie darbi savāktu daudz vairāk citātu, tā ka mans h-indekss dubultojās. Risinājums te būtu svērt h-indeksu proporcionāli zinātnieka akadēmiskajam vecumam (ne kalendārajam vecumam), nevis pilnībā atteikties no šī rādītāja.
Otrkārt, pastāv problēma ar zinātnieku kopienām, kuru pētījumus lasa un citē gandrīz tikai pašas kopienas iekšienē. Iemesli tam var būt dažādi: vai nu pētījuma tēma nav pasaules mērogā aktuāla, vai arī tā ir pārāk tālu no starptautiskās zinātnes frontes. Var būt arī problēmas ar rezultātu izplatīšanu starptautiskā mērogā. Šādās situācijās citātu skaits var izskatīties pieklājīgs, taču, veicot dziļāku analīzi, atklājas, ka lielākā daļa citātu nāk no šauras un izolētas kopienas. Šo situāciju var objektīvi izvērtēt, piemēram, izfiltrējot pašcitātus vai veicot citātu klasterizācijas analīzi.
Runājot par Latvijas zinātni, jāpiemin arī prestižās Dartmutas koledžas (ASV) profesors Uģis Gruntmanis, kurš savulaik tieši piesauca konkrētu cilvēku h-indeksus publiskās diskusijās, un vismaz man atvēra acis uz bēdīgo stāvokli Latvijā. Protams, h-indekss nevar būt vienīgā un galīgā metrika zinātnieku izvērtēšanā. Tomēr ir vērts apdomāt, vai ir pareizi veidot sistēmu, kurā vadošos amatos bieži nonāk cilvēki ar h-indeksu, kas ir par kārtu (tas ir, aptuveni desmit reižu) mazāks nekā tipiskā vērtība līdzīgās pozīcijās rietumvalstīs.
3. Kontroles zaudēšana.
Zinātnes vērtēšanu ir būtiski neatdot cilvēkiem no malas. Kāpēc? Problēma nav tik daudz saistīta ar to, ka ierēdņiem vai citiem nespeciālistiem trūktu izpratnes par vērtēšanas procesiem. Patiesībā ministrijas darbiniekiem nereti ir dziļākas zināšanas bibliometrijā nekā daudziem pētniecībā strādājošiem zinātniekiem. Problēma drīzāk ir iniciatīvās, personiskās ieinteresētības jeb "skin in the game" trūkums. Ierēdņiem nav motivācijas veidot izcilu zinātni, jo viņus pašus neviens nevērtēs pēc šāda rezultāta.
Salīdzinājuma, ja jaunajiem zinātniekiem nopietni pajautātu, ko viņi vēlas sasniegt savā karjerā, daudzos gadījumos atbilde būtu ambicioza. Daži vēlētos kļūt par pasaules līmeņa pētniekiem savā jomā un veikt ietekmīgus atklājumus. Citi, vairāk praktiski orientētie, gribētu radīt nozarei nepieciešamas un nākotnē plaši pielietojamas tehnoloģijas.
Ierēdņiem arī šādi mērķi liekas jauki, vismaz ciktāl tos jāpiemin uz papīra. Bet tie nav un nevar būt pašu ierēdņu mērķi. nstitūciju mērķi atšķiras: tās galvenokārt koncentrējas uz savu ietekmi lielākas sistēmas ietvaros (ministrijā, valdībā vai valstī kopumā). Rezultātā lielāka ietekme tiek piešķirta tām institūcijām, kuras pārvalda lielākus resursus. Piemēram, aģentūra, kurai uzticēts sadalīt 500 miljonus, būs ietekmīgāka par to, kas pārvalda 5 miljonus. Tāpēc finanšu apjoms bieži vien kļūst par galveno kritēriju zinātnes panākumu mērīšanā. Paradoksālā kārtā no institūcijas skatpunkta par labāku zinātnieku kļūst tas, kurš sasniedz noteiktos rezultātus ar 5 miljonu projektu, nevis tas, kurš paveic to pašu, bet izmantojot tikai 500 tūkstošus.
Lai arī piesaistītā finansējuma apjoms ir noderīga metrika — tā ir vienkārša, objektīvi izmērāma un nereti korelē ar sasniegumiem — tai nevajadzētu kļūt par galveno kritēriju. Zinātnes galvenajiem mērķiem ir jāpaliek tās iekšējai būtībai: zinātniskajai izcilībai, pētījumu ietekmei uz akadēmisko vidi un reālo pasauli.
Arī h-indeksa pielietošanai ir daudz lielāka jēga, ja lēmumu par tā piemērošanu pieņem jomas speciālisti. Lai gan tas varētu šķist pretrunā ar manu pirmo punktu par subjektivitātes risku, šeit ir būtiska atšķirība. Metriku un to piemērojamības robežu definēšanai jābūt jomas zinātnieku pārziņā, bet konkrētās mērīšanas procedūras labāk veikt objektīvi un algoritmiski. Turklāt ir svarīgi paredzēt elastību un iespēju labot kļūdas, kuras nenovēršami radīsies. Šāda pieeja palīdzēs izvairīties arī no "Goodhart's law" — kad metrika pārstāj būt noderīga, tā jāaizvieto ar citu, nevis jāpāriet pie pilnīgi subjektīva vērtējuma.
Ilustrācijai nedaudz kuriozs stāsts no personīgās pieredzes. Savulaik gadījās “ielekt” kā projekta vadītājam jau uzsāktā projektā. Manā vadībā tika sagatavota un iesniegta projekta vidusposma atskaite. Gaidījām pārrauga vērtējumu, taču atbildes nebija pat tad, kad tuvojās gala atskaites iesniegšanas termiņš. Sazinoties ar pārraugu, noskaidrojās, ka bijis nepieciešams meklēt jaunus ekspertus. Kāpēc? Sākotnējie eksperti, kuri izvērtēja projekta pieteikumu, vairs neatbilda formālajām prasībām: projekta izvērtētājiem bija jābūt ar h-indeksu, kas nav mazāks par projekta vadītāja h-indeksu. Tā kā projekta vadītājs bija mainījies, nācās nomainīt arī ekspertus. Lieki teikt, ka sākotnējiem ekspertiem, kuri jau bija pazīstami ar projekta pieteikumu, nebūtu sagādājis grūtības saprast arī vidusposma un gala atskaites. Vēl jo vairāk tāpēc, ka man savukārt konkrētajā apakšjomā publikāciju nebija vispār.
Visbeidzot, un neatkarīgi no visa pārējā. Nereti kā piemērs izcilam zinātniekam ar zemu h-indeksu tiek minēts britu fiziķis Pīters Higss. Viņš 2013. gadā saņēma Nobela prēmiju fizikā 83 gadu vecumā, un tobrīd viņa h-indekss bija tikai 9. Tomēr ir svarīgi atzīmēt, ka pats Higss ir atzinis, ka ar savu nelielo publikāciju apjomu viņš mūsdienu zinātnē diez vai spētu “izdzīvot” un, visticamāk, tiktu uzskatīts par “neproduktīvu”. Būtu negodīgi minēt Higsu kā labu piemēru jaunajiem zinātniekiem, nepastāstot viņiem arī par to, ka arī tādu pieeju veiksmīgu karjeru zinātnē veidot vairs nav iespējams.
Atsauces
1. Roberts Eglītis. Latvijas zinātnieku rangs pēc Hirša indeksa. Zinātnes Vēstnesis, 8(646), 2024. gada 30. septembris. https://www.lza.lv/images/Zinatnes-vestnesis/2024/ZV_09_2024.pdf
2. Liene Spružiniece. Kāpēc zinātniekiem nevajadzētu “mērīties” ar Hirša indeksiem. Zinātnes Vēstnesis, 11(649), 2024. gada 30. decembris. https://www.lza.lv/images/Zinatnes-vestnesis/2024/ZV_12_2024.pdf