(5 příspěvků)Blog.iHNed.cz/ohlidal 4. 2. 2010 22:44 (aktualizováno: 4. 2. 2010 22:46)
Jak hodnotit vědecké výsledky?
V článku na svém blogu pan T. Opatrný podrobil zdrcující kritice novelu zákona o podpoře výzkumu, kterou jsem spolu se svými kolegy poslanci předložil k projednávání ve Sněmovně PČR. První čtení této novely by mělo proběhnout na příští schůzi zmíněného zákonodárného sboru, tj. na schůzi konané poslední lednový a první únorový týden roku 2010.
Shrnutí problému
Stručně řečeno, v rámci naší novely výše zmíněného zákona se výrazně oslabuje vliv nově vytvořené metodiky hodnocení na rozdělování institucionální podpory. Pro tuto metodiku se ve vědecké veřejnosti vžil zcela oprávněně pejorativní název „kafemlejnek“. V čem spočívá podstata tohoto kafemlejnku? Jeho podstatou je formální a byrokratické hodnocení dosažených výsledků založené na udělování pevně určených bodů za konkrétně specifikované vědecké výsledky (např. jistý počet bodů je za publikovaný článek ve vědeckém časopisu podle kvality tohoto časopisu , jiný počet bodů je za přijatý patent atd.).
Základní nedostatky kafemlejnku
Kritici komplexní novely zákona o podpoře výzkumu přijaté sněmovnou v březnu 2009 napadají zvláště způsob hodnocení kvality vědeckých výsledků dosažených ve vědeckých a výzkumných institucí, tj. napadají podstatu zmíněného kafemlejnku. Tvrdí, že rozdělení finančních prostředků v podobě institucionální podpory jednotlivým institucím na základě kafemlejnku nebude odpovídat reálné kvalitě výsledků dosažených v těchto institucím a že prostřednictvím takového hodnocení mohou být zvýhodněny výsledky a instituce, jejichž kvalita a přínos pro společnost jsou nízké nebo dokonce bezvýznamné. Naopak vyjadřují obavy z podhodnocení výsledků a institucí kvalitních a pro společnost přínosných. Tito kritici se zároveň obávají, že dojde k výraznému snížení efektivity ve financování vědy, výzkumu a inovací v ČR a nikoliv k jejímu zvýšení, jak to tvrdí tvůrci schválené komplexní novely. Je nutné si proto položit otázku, zda lidé, kteří kritizují schválenou novelu zákona o podpoře výzkumu a kafemlejnek speciálně, mají pravdu či ne.
Podle mého názoru je kritika komplexní novely a kafemlejnku z velké části oprávněná. Nevhodnost kafemlejnku se nejlépe ilustruje na některých příkladech jeho aplikace. V oblasti základního výzkumu budou výsledky dosažené v dané instituci hodnoceny hlavně podle počtu článků a podle kvality časopisů, v nichž jsou tyto články publikovány (o kvalitě časopisů rozhoduje jejich tzv. impaktní faktor). Čím je více publikovaných článků daným kolektivem či institucí, tím by měla být efektivita kolektivu i instituce v oblasti základního výzkumu větší. Toto kriterium však může být někdy zavádějící. Pamětníci v oblasti základního výzkumu v jaderné fyzice si např. jistě vzpomenou, že v druhé polovině minulého století se objevilo velké množství odborných článků publikovaných v těch nejrenomovanějších časopisech týkajících se tzv. „studené“ jaderné fúze. Jednalo se o efekt, který by byl nesmírně významný z hlediska poznání a navíc by skýtal netušené možnosti v oblasti energetiky. Bohužel se však ukázalo, že takovýto efekt reálně neexistuje a že se nejednalo o žádný objev nýbrž o chybné experimenty a o jejich nesmyslnou interpretaci autory výše zmíněných článků zabývajících se tímto druhem jaderné fůze. Z hlediska kafemlejnku by však tito scestní výzkumníci a jejich instituty byli nesmírně úspěšní, protože stačili publikovat spoustu článků v těch nejlepších časopisech, než jejich výsledky byly vyvráceny. Dokonce měli obrovské množství citací od jiných autorů, kteří se právě tomu vyvracení jejich výsledků ve svých článcích věnovali. Lze uvést mnoho dalších podobných příkladů patologické vědy i z jiných oborů, které by se však v rámci kafemlejnku projevily jako příkladně užitečný základní výzkum a jeho nositelé by potom byly v ČR alespoň po určitou dobu velmi dobře finančně dotováni v rámci institucionální podpory.
Kafemlejnek také přímo vyzývá k produkci málo užitečných výsledků (někdy se jim říká „měkké“ výsledky). Opět uvedu reprezentativní příklad. V kafemlejnku jsou velkým počtem bodů hodnoceny monografie a to daleko více než úspěšné články publikované ve vysoce impaktovaných časopisech. Tato skutečnost přímo vybízí k napsání a publikaci nějaké útlé monografii s nevalným obsahem. V ČR existuje celá řada knižních nakladatelství, které vytisknou cokoliv, pokud se jim zaplatí. To, že taková monografie je k ničemu a nikdo ji nebude číst, je z hlediska kafemlejnku nepodstatné. Její autoři za ni dostanou vysoký počet bodů. Dokonce její vydání nemusí autory osobně ani nic stát, protože v rámci různých grantových projektů je možné naplánovat a pak obdržet finanční prostředky na publikační činnost, pomocí nichž je možné náklady na vytištění mizerné monografie uhradit. Čili není problém to zařídit tak, že špatnou a zbytečnou monografii, která nebude vůbec nikomu užitečná, zaplatí stát. Absurdnost kafemlejnku vede v tomto případě pouze k mrhání veřejných finančních prostředků a k zaplevelení vědecké literatury množstvím neužitečných paskvilů.
Bazálním nedostatkem kafemlejnku je také mimo jiného i kvantitativní srovnávání výsledků dosažených v různých vědních oblastech a oborech. Například je prakticky nemožné srovnávat a vzájemně kvantitativně hodnotit články týkající se experimentální fyziky na jedné straně a články zabývající se politologií či etnografií na straně druhé. To bylo jasné i tvůrcům kafemlejnku, a proto si vymysleli a zavedli jakési podivné přepočetní koeficienty, které mají kouzelně a zázračně umožnit srovnat (a to dokonce kvantitativně) hodnotu výsledků dosažených v různých nesrovnatelných oborech vědy. Tím dosáhli dokonalého, jak se také již pejorativně vžilo, míchání „jablek s hruškami“. Zavedením koeficientů se povýšili na téměř „božské“arbitry. Lidé, kteří mají určité zkušenosti se skutečnou vědeckou a výzkumnou prací, by nikdy takový nesmysl vymyslet nemohli.
I v případě hodnocení aplikovaného výzkumu lze v kafemlejnku najít evidentní nedostatky. Tak například v tomto výzkumu jsou v rámci kafemlejnku vysoce hodnoceny patenty týkající se technologických postupů, přístrojů a dalších zařízení, což je z principiálního hlediska v pořádku. Podat a zaregistrovat patent není však nic obtížného. Proto také mnoho přijatých (zaregistrovaných) patentů není nikdy prakticky využito a nemají žádný smysl. Teprve využitý a finančně zhodnocený patent má svůj význam. Toto tvrzení platí zvláště pro patenty, které byly takto realizovány v zahraničí. Poplatky za trvání registrace patentu jsou však zvláště pro zahraničí značně vysoké, takže počet patentů zaregistrovaných našimi autory v zahraničí je vlastně projevem ekonomické síly autorů nebo jejich institucí spíše než jejich efektivity v oblasti aplikovaného výzkumu. Tuto skutečnost samozřejmě kafemlejnek také vůbec nezohledňuje.
V komplexní novele zákona o podpoře výzkumu schválené v březnu 2009 je také stěží přijatelné to, že Rada pro výzkum, vývoj a inovace bude tím orgánem, který hodnocení všech vědeckých a výzkumných institucí zpracuje a na základě jejího vyjádření budou finanční prostředky těmto institucím vládou rozděleny. Navíc je zde ještě jeden podstatný fakt a to, že si lze stěží představit, jak tato rada odpovědně zpracovává hodnocení všech zmíněných institucí, který je v ČR několik stovek.
Kafemlejnek a s ním spojená procedura obsahuje ještě celou řadu dalších zásadních chyb, takže jeho využití v praxi při rozdělování institucionální podpory jednotlivým vědeckým a výzkumným organizacím může způsobit mnoho deformací a nesrovnalostí, které mohou negativně ovlivnit budoucnost výzkumu, vývoje a inovací v naší republice.
Jak se hodnotí ve vyspělých zemích světa
Je nutné zdůraznit, že způsob hodnocení výsledků vědy, výzkumu a inovací založený na kafemlejnku a současném zákonu o podpoře výzkumu v ČR je celosvětovou raritou. Takovýto byrokratický a formální způsob hodnocení neexistuje nikde v civilizovaném světě. Ve vyspělých zemích světa probíhá hodnocení vědeckých a výzkumných organizací zcela odlišným způsobem. V tomto článku jej nelze podrobně specifikovat, ale stojí za to uvést, že tyto organizace jsou hodnoceny za delší dobu než jeden rok, většinou za období pěti let. Hodnocení se provádí tak, že vybraní lidé tvořící jakousi komisi sestávající se hlavně z renomovaných odborníků z celého světa se na dva až tři měsíce doslova „nastěhují“ do té organizace a seznamují se nejen s dosaženými výsledky v podobě publikovaných článků, monografií, patentů, počtu přednesených přednášek a referátů na konferencích atd., ale také navštěvují přednášky a cvičení pokud hodnocenou organizací je vysoká škola, procházejí laboratoře a zajímají se o činnost těchto laboratoří, hodnotí jim předložené výsledky dosažené při spolupráci s jinými výzkumnými či jinými organizacemi, zajímají se počet pracovníků organizace pracujících v zahraničí a naopak o počet zahraničních pracovníků pracujících v hodnocené organizaci, hodnotí výsledky těchto pracovníků atd. Prostě provádějí skutečné „hloubkové“ hodnocení, které je daleko blíže objektivnímu zhodnocení úrovně daných výzkumných institucí včetně vysokých škol než hodnocení pomocí kafemlejnku. Mimochodem, podobný způsob hodnocení jako v zahraničí zvolila u svých ústavů AV ČR a osvědčilo se jí to. Podle mého názoru by kafemlejnek měl být u nás nahrazen právě takovýmto „hloubkovým“ hodnocením, na základě něhož by se rozdělovala institucionální podpora.
Omyly Tomáše Opatrného
Pan Opatrný se podivuje nad tím, že v březnu se schválí zákon a v prosinci se novelizuje. Navíc se podivuje nad tím, že v březnu jsem pro schválenou verzi hlasoval a v prosinci se mi již nelíbí, a proto ji s kolegy novelizuji. Odpověď na toto divení se pana Opatrného je velmi jednoduchá. Samozřejmě již v březnu jsem měl silné výhrady a to zvláště k neopodstatněnému výsadnímu postavení rady a ke kafemlejnku a jeho aplikaci (každý se může přečíst stenografický záznam rozpravy k tomuto zákonu, kde jsem v tom smyslu vystoupil).Ustoupili jsme však tlaku ze strany představitelů akademické sféry, kteří se oprávněně obávali problémů, které by vznikly při čerpání evropských peněz, pokud by tento zákon nebyl schválen včas. Podle jejich názoru bylo lepší přijmout zákon s chybami než ho nepřijmout nebo přijmout pozdě. S tímto jejich názorem se bylo nutné nakonec ztotožnit za podmínky, že největší chybu zákona, tj. využití kafemlejnku, se pokusíme co nejdříve odstranit. Topolánkova vláda, která se zpozdila s přípravou inkriminovaného zákona, je pravým viníkem této současné situace. Navíc přijetí naší novely otevírá možnost vypracovat a zabudovat do zákona důvěryhodnější způsob hodnocení vědeckých výsledků v ČR.
Pan Opatrný se bojí, že po odstranění kafemlejnku vznikne nebezpečí korupce ze strany úředníků. Po přijet naší novely bude probíhat hodnocení jako doposud až do doby, kdy bude schválen nový lepší způsob. Čili odstranění kafemlejnku korupci zvýšit nemůže. Naopak, já vidím nebezpečí v tom, že pod určitým tlakem některých vlivných lidí by bylo možné očekávat změny např. v koeficientech kafemlejnku, které by mohl nekontrolovatelně někdo měnit.
Pan Opatrný mi kdysi sdělil, že dlouhou dobu pracoval na zahraničních univerzitách. Pokud je to pravda, pak se hodně divím tomu, že si nevšiml, jakým způsobem se provádí hodnocení kvality vědeckých pracovišť tam. Doporučuji proto, aby si tyto své neznalosti nějak doplnil a teprve potom obhajoval něco, co je stěží obhajitelné. I při své velké časové zaneprázdněnosti jsem ochoten mu na toto téma poskytnout konzultaci.
Pane profesore, četl jste pozorně článek T.Opatrného? I on kritizuje...
Nejpruhlednejsi a nejpredvidatelnejsi algoritmus spociva v plosnem...
Ano, zcela souhlasím s tím, ze pouhá tužba po jednoduchém algoritmu...
Každý příslušník nejmenovaného minoritního etnika hádá podle své...
Krátce řečeno - scientometrie je momentálně ve vědě kombinací...
- Kruh se uzavírá. Osudné chyby se Pitr dopustil už před 16 lety (21602x)
- Kolik snesete pití a kdy můžete zase řídit? Navštivte virtuální bar (20632x)
- Švýcaři dopadli Pitra na druhý pokus. Poprvé přišli pozdě (16954x)
- Pitr byl na útěku v zahraničí, přesto si za Prahou budoval luxusní sídlo (14940x)
- Řecko kvůli stávce kolabuje. U pump chybí benzin, v obchodech zboží (14505x)
- Nový obchodní dům s luxusním zbožím vyroste přímo v srdci Prahy (14283x)
Po pás ve vodě: Pákistán postihly nejhorší záplavy za posledních 100 let
Počet obětí rozsáhlých záplav v severozápadním Pákistánu způsobených monzunovými dešti již přesáhl hranici...
Léto je příležitost nejen k lenošení, ale i k práci. V Praze se opravují tramvajové tratě
V Praze v současné době probíhají rozsáhlé rekonstrukce tramvajových tratí. Jedna z největších je právě v...
Německo se rozloučilo s oběťmi duisburgské tragédie
V západoněmeckém Duisburgu proběhlsmuteční obřad za 21 obětí tlačenice na technoparty Loveparade z minulé...
Jak by mohla vypadat Praha, kdyby se architektům dala volná ruka
Na 60 předních českých autorů, designerů nebo umělců dostalo jednoduché zadání úkolu: vyberte si jakékoli...
Slavná Bounty a další historické koráby si daly dostaveníčko v Minnesotě
Velkolepou přehlídku chystá na tento víkend americké městečko Duluth ve státě Minnesota. Na Hořejší jezero se...
Nejzajímavější text o evropských zátěžových testech jsem si přečetl z pera mého oblíbence... »»»
UVNITŘ ANIMACE PRO ŘIDIČE Školákům z jižního Německa začínají prázdniny, v Itálii vypukne... »»»
- Vyhněte se 10 chybám při prodeji firmy
- Facebook v práci? Letos už tolik ne
- Investiční rádce: Prodejte, kupte, ponechte si - 29. 7. 2010
- VZP kupuje za miliardu část firmy IZIP. Za elektronické zdravotní knížky zaplatí již podruhé
- USD uzavírá slabě, průraz nad 1.30 se zdá nevyhnutelný
- Vlastní negativní reklama má úspěch
- Makroekonomické shrnutí a dnešní výsledky stres testů bank
- Zisky do poslední třísky



