Daniel Münich: Extraliga české akademické ekonomie: díl druhý

Můj nedávný článek (Extraliga české akademické ekonomie, HN 31. května 2007) osvětlující principy hodnocení kvality akademického ekonomického výzkumu vyvolal zajímavou odezvu. Postaral se o to především přiložený žebříček TOP25 současných českých akademických ekonomů. Žebříček vycházel z ohlasu vědeckých časopisů (měřený impakt faktory), ve kterých čeští akademičtí ekonomové publikovali v období 1998-2005.

Dvě následně otištěné a poměrně kritické reakce Rudolfa Hanky (Alternativní liga české ekonomie, HN 13.6.2007) a Roberta Holmana (Münichův žebříček: jak neměřit ekonoma, HN 13.6.2007) obsahovaly jednak podiv nad opominutím citační analýzy a také jistá podezření z účelové volby kritérií. V původním článku jsem citační analýzu pro nedostatek místa skutečně odbyl konstatováním, že je mnohem náročnější a že by zřejmě nepřinesla nic překvapivě jiného. Využívám této příležitosti abych problematiku citací objasnil podrobněji a mé původní výsledky doplnil. Podezření z účelové konstrukce měřítek kvality vyvracím a na řadu drobných otázek odpovídám pouze na mém blogu.

Achillovy paty citací

Mé srovnání českých ekonomů vycházelo z impakt faktorů časopisů, kde v posledních letech publikovali. Impakt faktor časopisu je číslo vyjadřující frekvenci s jakou odborné články v časopise otištěné vědecká komunita cituje. Počet citací se tedy přirozeně nabízí jako alternativní měřítko kvality akademického výzkumu. Odbornou citace vznikne, když se jeden vědec ve svém článku odkáže na poznatek nebo tvrzení jiného vědce v jiném článku. Důvodů k citování je nespočet včetně citací kritických. Nositelé Nobelovy ceny za svou kariéru nasbírají stovky až tisíce citací. Mezi běžnými ekonomy včetně těch nejlepších českých o kterých ještě bude řeč se však počty citací pohybují v řádu pouhých desítek.

Stane-li se citace měřítkem akademického úspěchu, získá  každá citace cenu zlata. A zde je Achillova pata citací a citačních indexů na nich založených. Počet citací lze totiž záměrně uměle zvyšovat. Stačí, když se nějaká skupinka spřízněných vědců tiše dohodne a v nějakém provinčním časopise se začně intenzivně navzájem citovat. Sice se to protiví dobrým akademickým mravům, ale bránit se tomu v podstatě nedá. V tomto ohledu je mnou použitý impak faktor časopisu měřítkem bezproblémovým. Zmanipulovat přijetí článku do časopisu s vyšším impaktem je totiž prakticky nemožné.

Druhým nedostatkem běžných citačních indexů je jejich zpoždění. I kvalitnímu odbornému článku totiž trvá několik let než citace nasbírá. Díváme-li se na výsledky z dostatečně historické retrospektivy nemusí to být až zas tak zásadní problém. Chceme-li však znát aktuální vědecké výsledky vědecké komunity, citace nám mnohé věci zatají. S tím souvisí například i to, že prosté sčítání citací zvýhodňuje starší vědce - čím delší dobu vědec publikuje, tím více citací má šanci nasbírat. Tuto věkovou diskriminaci lze eliminovat buď tak, že se hodnotící období omezí nebo se pracuje s průměrným počtem citací připadající na jeden rok kariéry vědce. Druhá metoda je však v praxi obtížně realizovatelná, protože vyžaduje znalost délky vědecké kariéry jednotlivých vědců.

Třetím nedostatkem citací je skutečnost, že citační frekvence se liší podle oborů. Například v psychologii se zvyk citovat dvakrát častěji než v ekonomii. Takže ekonomové zabývající se tématy souvisejícími s psychologií člověka mají šanci získat výrazně více citací než běžní ekonomové.

Čtvrtým nedostatkem citací je, že jejich prosté sčítání nepostihuje jejich kvalitu. Je nasnadě, že obdivná citace od světově uznávaného vědce v renomovaném světovém časopise by měla mít větší váhu než vágní kritická citace od neznámého vědce v provinčním časopise. Věrohodný citační index, který by citace vážil kvalitou časopisů však není běžně dostupný a jeho výpočet na koleně je velice pracný. Uvedené nedostatky citací a zmíněná složitost výpočtu byly ony důvody, proč jsem se citační analýzou dosud příliš nezaobíral a chyběla i v mém původním článku.

Když promluví citace

Abych vyhověl kritice a rozptýlil i případná podezření, že něco záměrně skrývám, předkládám zde i citační analýzu po které volaly oba kritické články. Využil jsem tzv. hirschův citační index (h-index), na který ve své reakci správně upozornil R.Hanka. Připomínám, že vědec má h-index n pokud n jeho publikací má alespoň n citací.

V zájmu srovnatelnosti s původními výsledky a ve snaze nediskriminovat mladší ekonomy jsem h-indexy spočítal pro publikace za stejné období použité v mém článku, tedy za roky 1998-2005. Pořadí ekonomů podle h-indexů  je uvedeno v tabulce.

 Nejvyššího h-indexu 3 dosáhlo pouhých 5 ekonomů. Znamená to, že každý z nich má alespoň tři nejméně třikrát citované články (pro srovnání, za stejné období dosáhl nositel Nobelovy ceny za ekonomii z roku 2000 J.Heckmana h-index 8). Kromě jediné výjimky jde o ekonomy, kteří se umístili na špičce i v mém původním TOP25. Tou výjimkou je S.Janáčková, která se do původního žebříčku vůbec nedostala. Hodnoceno podle h-indexu, pouze 5 ekonomů z původního TOP25 se propadlo o více než deset míst.[1] Mezi TOP25 naopak podle h-indexu patří dalších 7 ekonomů.[2] Avšak k výraznějšímu posunu směrem ke špičce došlo pouze u O.Dědka.

Zde však připomeňme nedostatek běžných citačních indexů, a h-index v tom není výjimkou, že nezohledňují kvalitu citací. Pokud by zohledňoval, uvedené rozdíly v TOP25 by byly ještě menší. Detailní inspekcí lze nahlédnout, že uvedených několik výrazných posunů v pořadí mají totiž na svědomí především citace v neimpaktovaných provinčních časopisech. Ty sice světová akademická komunita do velké přehlíží, ale do citačního indexu se počítají .

Hodnocení musí být ověřitelné

Ještě je třeba osvětlit velké rozdíly mezi mnou uvedenými h-indexy a těmi, které prezentoval R.Hanka. Ten bohužel neuvedl zdroj jím uváděných h-indexů. Tím bylo mimochodem porušeno jedno ze základních pravidel hodnocení a tím je snadná ověřitelnost výsledků. Dle vysokých hodnot jeho h-indexů odhaduji, že je napočítal pomocí poměrně nového internetového nástroje Google Scholar. Pokud je tomu skutečně tak, potom jsou ovšem jeho výsledky a kritika velmi zavádějící. Internetový vyhledávač Gogole Scholar totiž sčítá citace nejen ze solidních vědeckých časopisů, ale také citace z různého smetí, které se na internetu hojně nachází. Pro výpočet věrohodného h-indexu je třeba použít profesionálně spravované databáze jako je například již zmiňovaná Web of Science, se kterou jsem pracoval a kde je možno snadno mé výsledky ověřit. Jen taková databáze totiž dává dostatečné garance, že publikace v ní uvedené mají alespoň minimální vědeckou úroveň.

Lepší se přít než mlčet

Je dobře že se začíná rozbíhat veřejná debata o kvalitativním hodnocení vědeckých výsledků. Ačkoliv jsou některé debaty poněkud vypjaté, a ty o žebříčcích jsou často přirozeně i velice osobní, přispívá to k lepšímu porozumění toho, jak vlastně svět vědy funguje. Je to důležité proto, že se do vědeckého pokroku vkládají rostoucí očekávání a má tam v budoucích letech směřovat rostoucí objem veřejných prostředků. Stejně jako v ostatních oborech lidské činnosti nebude ani zde problém peníze utratit. Problém bude zajistit, aby investice do vědy přinesly i kýžené přínosy. Právě proto je třeba začít výsledky vědy rozumně měřit a vybrat mezi spoustou receptů na měření ty dobré.

[1] Výrazné posuny jsou ve třech případech způsobeny výrazně kratší kariérou těchto ekonomů, kteří neměli tolik času jako ostatní sbírat citace.

[2] Spoluautoři P.Kuchař a D.Kostová a dále J.Večerník jsou ale spíše sociologové, jejichž vědecká práce má často přesah do ekonomie.