reklama
přihlášení odhlášení online inzerce mobilní verze | obsahový servis | online archivy | předplatné titulů economia | benefitklub         rss | mms | sms
Nejste-li dosud registrován, pokračujte zde
Uživatelské jméno:
Heslo:
blogy video animace obrazem program počasí
Úvodní stránka iHNed.cz Hospodářské noviny Respekt Ekonom Marketing&Media Obchodní věstník Investice FinWeb KarieraWeb Reality Odborné měsíčníky
Domácí Zahraniční Ekonomika Finance Digi a věda Kultura Sport Komentáře Rozhovory Cestování Auto Jídlo Ankety
Přejít do diskuse
(5 příspěvků)
Blog.iHNed.cz/ohlidal  4. 2. 2010  22:44  (aktualizováno: 4. 2. 2010  22:46)

Jak hodnotit vědecké výsledky?

reklama
Tagy

 

V článku na svém blogu pan T. Opatrný podrobil zdrcující kritice novelu zákona o podpoře výzkumu, kterou jsem spolu se svými kolegy poslanci předložil k projednávání ve Sněmovně PČR. První čtení této novely by mělo proběhnout na příští schůzi zmíněného zákonodárného sboru, tj. na schůzi konané poslední lednový a první únorový týden roku 2010.

 

Shrnutí problému

 

Stručně řečeno, v rámci naší novely výše zmíněného zákona se výrazně oslabuje vliv nově vytvořené metodiky hodnocení na rozdělování institucionální podpory. Pro tuto metodiku se ve vědecké veřejnosti vžil zcela oprávněně pejorativní název „kafemlejnek“. V čem spočívá podstata tohoto kafemlejnku? Jeho podstatou je formální a byrokratické hodnocení dosažených výsledků založené na udělování pevně určených bodů za konkrétně specifikované vědecké výsledky (např. jistý počet bodů je za publikovaný článek ve vědeckém časopisu podle kvality tohoto časopisu , jiný počet bodů je za přijatý patent atd.).

 

Základní nedostatky kafemlejnku

 

Kritici komplexní novely zákona o podpoře výzkumu  přijaté sněmovnou v březnu 2009 napadají zvláště způsob hodnocení kvality vědeckých výsledků dosažených ve vědeckých a výzkumných institucí, tj. napadají podstatu zmíněného kafemlejnku. Tvrdí, že rozdělení finančních prostředků v podobě institucionální podpory jednotlivým institucím na základě kafemlejnku nebude odpovídat reálné kvalitě výsledků dosažených v těchto institucím a že prostřednictvím takového hodnocení mohou být zvýhodněny výsledky a instituce, jejichž kvalita a přínos pro společnost jsou nízké nebo dokonce bezvýznamné. Naopak vyjadřují obavy z podhodnocení výsledků a institucí kvalitních a pro společnost přínosných. Tito kritici se zároveň obávají, že dojde k výraznému snížení efektivity ve financování vědy, výzkumu a inovací  v ČR a nikoliv k jejímu zvýšení, jak to tvrdí tvůrci schválené komplexní novely. Je nutné si proto položit otázku, zda lidé, kteří kritizují schválenou novelu zákona o podpoře výzkumu a kafemlejnek speciálně, mají pravdu či ne.

Podle mého názoru je kritika komplexní novely a kafemlejnku z velké části oprávněná. Nevhodnost kafemlejnku se nejlépe ilustruje na některých příkladech jeho aplikace. V oblasti základního výzkumu budou výsledky dosažené v dané instituci hodnoceny hlavně podle počtu článků a podle kvality časopisů, v nichž jsou tyto články publikovány (o kvalitě časopisů rozhoduje jejich tzv. impaktní faktor). Čím je více publikovaných článků daným kolektivem či institucí, tím by měla být efektivita kolektivu i instituce v oblasti základního výzkumu větší. Toto kriterium však může být někdy zavádějící. Pamětníci v oblasti základního výzkumu v jaderné fyzice si např. jistě vzpomenou, že v druhé polovině minulého století se objevilo velké množství odborných článků publikovaných v těch nejrenomovanějších časopisech týkajících se tzv. „studené“ jaderné fúze. Jednalo se o efekt, který by byl nesmírně významný z hlediska poznání a navíc by skýtal netušené možnosti v oblasti energetiky. Bohužel se však ukázalo, že takovýto efekt reálně neexistuje a že se nejednalo o žádný objev nýbrž o chybné experimenty a o jejich nesmyslnou interpretaci autory výše zmíněných článků zabývajících se tímto druhem jaderné fůze. Z hlediska kafemlejnku by však tito scestní výzkumníci a jejich instituty byli nesmírně úspěšní, protože stačili publikovat spoustu článků v těch nejlepších časopisech, než jejich výsledky byly vyvráceny. Dokonce měli obrovské množství citací od jiných autorů, kteří se právě tomu vyvracení jejich výsledků ve svých článcích věnovali. Lze uvést mnoho dalších podobných příkladů patologické vědy i z jiných oborů, které by se však v rámci kafemlejnku projevily jako příkladně užitečný základní výzkum a jeho nositelé by potom byly v ČR alespoň po určitou dobu  velmi dobře finančně dotováni v rámci institucionální podpory.

Kafemlejnek také přímo vyzývá k produkci málo užitečných výsledků (někdy se jim říká „měkké“ výsledky). Opět uvedu reprezentativní příklad. V kafemlejnku jsou velkým počtem bodů hodnoceny monografie a to daleko více než úspěšné články publikované ve vysoce impaktovaných časopisech. Tato skutečnost přímo vybízí k napsání a publikaci nějaké útlé monografii s nevalným obsahem. V ČR existuje celá řada knižních nakladatelství, které vytisknou cokoliv, pokud se jim zaplatí. To, že taková monografie je k ničemu a nikdo ji nebude číst, je z hlediska kafemlejnku nepodstatné. Její autoři za ni dostanou  vysoký počet bodů. Dokonce její vydání nemusí autory osobně ani nic stát, protože v rámci různých grantových projektů je možné naplánovat a pak obdržet finanční prostředky na publikační činnost, pomocí nichž je možné náklady na vytištění mizerné monografie uhradit. Čili není problém to zařídit tak, že špatnou a zbytečnou monografii, která nebude vůbec nikomu užitečná, zaplatí stát. Absurdnost kafemlejnku vede v tomto případě pouze k mrhání veřejných finančních prostředků a k zaplevelení vědecké literatury množstvím neužitečných paskvilů.

Bazálním nedostatkem kafemlejnku je také mimo jiného i kvantitativní srovnávání výsledků dosažených v různých vědních oblastech a oborech. Například je prakticky nemožné srovnávat a vzájemně kvantitativně hodnotit články týkající se experimentální fyziky na jedné straně a články zabývající se politologií či etnografií na straně druhé. To bylo jasné i tvůrcům kafemlejnku, a proto si vymysleli a zavedli jakési podivné přepočetní koeficienty, které mají kouzelně a zázračně umožnit srovnat (a to dokonce kvantitativně) hodnotu výsledků dosažených v různých nesrovnatelných oborech vědy.  Tím dosáhli dokonalého, jak se také již pejorativně vžilo, míchání „jablek s hruškami“. Zavedením  koeficientů se povýšili na téměř „božské“arbitry. Lidé, kteří mají určité zkušenosti se skutečnou vědeckou a výzkumnou prací, by nikdy takový nesmysl vymyslet nemohli.

I v případě hodnocení aplikovaného výzkumu lze v kafemlejnku najít evidentní nedostatky. Tak například v tomto výzkumu jsou v rámci kafemlejnku vysoce hodnoceny patenty týkající se technologických postupů, přístrojů a dalších zařízení, což je z principiálního hlediska v pořádku. Podat  a zaregistrovat patent  není však nic  obtížného. Proto také mnoho přijatých (zaregistrovaných) patentů není nikdy prakticky využito a nemají žádný smysl. Teprve využitý a finančně zhodnocený  patent má svůj význam. Toto tvrzení platí zvláště pro patenty, které byly takto realizovány v zahraničí. Poplatky za trvání registrace patentu jsou však zvláště pro zahraničí značně vysoké, takže počet patentů zaregistrovaných našimi autory v zahraničí je vlastně projevem ekonomické síly autorů nebo  jejich institucí  spíše než  jejich efektivity v oblasti aplikovaného výzkumu. Tuto skutečnost samozřejmě kafemlejnek také vůbec nezohledňuje.

V komplexní novele zákona o podpoře výzkumu schválené v březnu 2009 je také stěží přijatelné to, že Rada pro výzkum, vývoj a inovace bude tím orgánem, který hodnocení všech vědeckých a výzkumných institucí zpracuje a na základě jejího vyjádření budou finanční prostředky těmto institucím vládou rozděleny. Navíc je zde ještě jeden podstatný fakt a to, že si lze stěží představit, jak tato rada odpovědně zpracovává hodnocení všech zmíněných institucí, který je v ČR několik stovek.

Kafemlejnek a s ním spojená procedura obsahuje ještě celou řadu dalších zásadních chyb, takže jeho využití v praxi při rozdělování institucionální podpory jednotlivým vědeckým a výzkumným organizacím může  způsobit mnoho deformací a nesrovnalostí, které  mohou negativně ovlivnit budoucnost výzkumu, vývoje a inovací v naší republice.

 

 

 

Jak se hodnotí ve vyspělých zemích světa

 

Je nutné zdůraznit, že způsob hodnocení výsledků vědy, výzkumu a inovací založený na kafemlejnku a současném zákonu o podpoře výzkumu v ČR je celosvětovou raritou. Takovýto byrokratický a formální způsob hodnocení neexistuje nikde v civilizovaném světě. Ve vyspělých zemích světa probíhá hodnocení vědeckých a výzkumných organizací zcela odlišným způsobem. V tomto článku jej nelze podrobně specifikovat, ale stojí za to uvést, že tyto organizace jsou hodnoceny za delší dobu než jeden rok, většinou za období pěti let. Hodnocení se provádí tak, že vybraní lidé tvořící jakousi komisi sestávající se hlavně z renomovaných odborníků z celého světa se na dva až tři měsíce doslova „nastěhují“ do té organizace a seznamují se nejen s dosaženými výsledky v podobě publikovaných článků, monografií, patentů, počtu přednesených přednášek a referátů na konferencích atd., ale také navštěvují přednášky a cvičení pokud hodnocenou organizací je vysoká škola, procházejí laboratoře a zajímají se o činnost těchto laboratoří, hodnotí jim předložené výsledky dosažené při spolupráci s jinými výzkumnými či jinými organizacemi, zajímají se počet pracovníků organizace pracujících v zahraničí a naopak o počet zahraničních pracovníků pracujících  v hodnocené organizaci, hodnotí výsledky těchto pracovníků  atd.  Prostě provádějí skutečné „hloubkové“ hodnocení, které je daleko blíže objektivnímu zhodnocení úrovně daných výzkumných institucí včetně vysokých škol než hodnocení pomocí kafemlejnku. Mimochodem, podobný způsob hodnocení jako v zahraničí zvolila u svých ústavů AV ČR a osvědčilo se jí to. Podle mého názoru by kafemlejnek měl být u nás nahrazen právě takovýmto „hloubkovým“ hodnocením, na základě něhož by se rozdělovala institucionální podpora.

 

 

 

Omyly Tomáše Opatrného

 

Pan Opatrný se podivuje nad tím, že v březnu se schválí zákon a v prosinci se novelizuje. Navíc se podivuje nad tím, že v březnu jsem pro schválenou verzi hlasoval a v prosinci se mi již nelíbí, a proto ji  s kolegy novelizuji. Odpověď na toto divení se pana Opatrného je velmi jednoduchá. Samozřejmě již v březnu jsem měl silné výhrady a to zvláště k neopodstatněnému výsadnímu postavení rady a ke kafemlejnku a jeho aplikaci (každý se může přečíst stenografický záznam rozpravy k tomuto zákonu, kde jsem v tom smyslu vystoupil).Ustoupili jsme však tlaku ze strany  představitelů akademické sféry, kteří se oprávněně obávali problémů, které by vznikly při čerpání evropských peněz, pokud by tento zákon nebyl schválen včas.  Podle jejich názoru bylo lepší přijmout zákon s chybami než ho nepřijmout nebo přijmout pozdě. S tímto jejich názorem se bylo nutné nakonec ztotožnit za podmínky, že největší chybu zákona, tj. využití kafemlejnku, se pokusíme co nejdříve odstranit. Topolánkova vláda, která se zpozdila s přípravou inkriminovaného zákona, je pravým viníkem této současné situace. Navíc přijetí naší novely otevírá možnost vypracovat a zabudovat do zákona důvěryhodnější způsob hodnocení vědeckých výsledků v ČR.

Pan Opatrný se bojí, že po odstranění kafemlejnku vznikne nebezpečí korupce ze strany úředníků. Po přijet naší novely bude probíhat hodnocení jako doposud až do doby, kdy bude schválen nový lepší způsob. Čili odstranění kafemlejnku korupci zvýšit nemůže. Naopak, já vidím nebezpečí v tom, že pod určitým  tlakem některých vlivných lidí by bylo možné očekávat změny např. v koeficientech kafemlejnku, které by mohl nekontrolovatelně někdo měnit.

Pan Opatrný mi kdysi sdělil, že dlouhou dobu pracoval na zahraničních univerzitách. Pokud je to pravda, pak se hodně divím tomu, že si nevšiml, jakým způsobem se provádí hodnocení kvality vědeckých pracovišť tam. Doporučuji proto, aby si tyto své neznalosti nějak doplnil a teprve potom obhajoval něco, co je stěží obhajitelné. I při své velké časové zaneprázdněnosti jsem ochoten mu na toto téma poskytnout konzultaci.

Autor/ři: Ivan Ohlídal

Ohlid
Blog.iHNed.cz/ohlidal (přečteno 1379x)
GoogleGoogle Linkuj.czLinkuj.cz redditReddit del.icio.usdel.icio.us JaggJagg.cz Přidat.euPřidat.eu furlfurl yahooyahoo! diggdigg vybrali.sme.skvybrali.sme
Uložte si či sdílejte článek v sociální síti (po registraci zdarma)
KONTEXTOVÉ ODKAZY ETARGET
DISKUSE
Zpět na článek Přidat názor příspěvků v diskusi: 5
Pochopil jste článek T. Opatrného? (eg)
Pane profesore, četl jste pozorně článek T.Opatrného? I on kritizuje...
pozor (certik)
Nejpruhlednejsi a nejpredvidatelnejsi algoritmus spociva v plosnem...
Re: Jak hodnotit vědecké výsledky? (eg)
Ano, zcela souhlasím s tím, ze pouhá tužba po jednoduchém algoritmu...
Přísloví (DS)
Každý příslušník nejmenovaného minoritního etnika hádá podle své...
Jde to zásadně jinak? (Dalibor Štys)
Krátce řečeno - scientometrie je momentálně ve vědě kombinací...
zobrazit příspěvky
Autor:
E-mail:       Zveřejnit:    Zasílat reakce:
Město:
Titulek:
Text:
Vložit příspěvek
Autorská práva vykonává vydavatel. Jakékoli užití částí nebo celku, zejména rozmnožování a šíření jakýmkoli způsobem (mechanickým nebo elektronickým) i v jiném než českém jazyce bez písemného svolení vydavatele je zakázáno.
reklama
reklama
reklama
p7_110x72.jpg Po pás ve vodě: Pákistán postihly nejhorší záplavy za posledních 100 let

Počet obětí rozsáhlých záplav v severozápadním Pákistánu způsobených monzunovými dešti již přesáhl hranici...

čteno: 628x   názorů: 0
Jak silná bude bouře
Nejzajímavější text o evropských zátěžových testech jsem si přečetl z pera mého oblíbence... »»»
Kolona ve Svycarsku
O víkendu autem k moři nejezděte. Čekají se nejhorší kolony letní sezóny
UVNITŘ ANIMACE PRO ŘIDIČE Školákům z jižního Německa začínají prázdniny, v Itálii vypukne... »»»
 
reklama