Relazione conclusiva dei lavori della Commissione per la selezione dei Centri di eccellenza della ricerca
(Anno 2000)

 

Introduzione

Il giorno 6 aprile 2000 si è insediata la Commissione selezionatrice dei progetti relativi ai Centri di Eccellenza 2000, nominata con D.M. n. 161 del 23.3.2000, formata dai Professori Mario Caravale, Luigi Nicolais, Sandro Pontremoli, Tommaso Russo, Edoardo Vesentini. La Commissione stessa ha nominato Presidente il Prof. Vesentini. Il Prof. Russo ha assunto il ruolo di segretario.
La prima riunione è stata dedicata all’esame del bando emanato con D.M. n.11 del 13 gennaio 2000 e della modulistica approntata dagli uffici del Ministero per la compilazione delle proposte preliminari.
Il bando indicava le aree tematiche di riferimento:

  1. Biotecnologia e Biomedicina;
  2. Società dell’informazione;
  3. Aspetti giuridici, economici e sociali di interazione comunitaria e internazionale;
  4. Tecnologie innovative applicate alle scienze umane;
  5. Dinamiche e controllo dei processi di dissesto idrogeologico del territorio

definiva con precisione i requisiti che dovevano essere posseduti dai centri di ricerca proposti, e cioè:
-inter/multidisciplinarietà delle tematiche di specializzazione al fine di acquisire nel medio/lungo periodo le opportunità delle interdipendenze e delle convergenze tecnologiche nella innovazione economica e sociale;
-integrazione delle attività di ricerca con attività di alta formazione mirata a potenziare la base scientifica e tecnologica nazionale ed a generare imprenditorialità in attività economiche innovative;
-acquisizione di processi di partneriato scienza-industria a sostegno della ricerca strategica delle medio-grandi imprese e dell’attrattività di investimenti diretti esteri di multinazionali operanti in settori ad alta intensità di conoscenza;
-assunzione di strategie organizzative coerenti con lo sviluppo di reti di cooperazione nazionale ed internazionale incentivanti il richiamo di ricercatori italiani attivi all’estero e di personalità scientifiche di livello internazionale, nonché la mobilità dei ricercatori tra Università, enti pubblici di ricerca, centri di ricerca privati.

Il bando definiva inoltre quello che ciascuna proposta doveva contenere:
a.la ricerca che si intende svolgere nell’ambito delle aree tematiche in precedenza indicate;
b.gli obiettivi di sviluppo a medio e/o a lungo termine che essa si propone;
c.il contesto nel quale l’attività del centro si inserisce, anche per ciò che riguarda le relazioni con altre strutture di ricerca e/o con strutture produttive interessate alle potenziali ricadute, in ambito nazionale ed internazionale;
d.i nominativi dei ricercatori che operano nell’ambito del centro e i responsabili dei gruppi coinvolti;
e.le prospettive di continuità dell’attività del centro al termine del finanziamento eventualmente acquisito attraverso il presente bando.

Il succitato D.M. inoltre prevedeva che i proponenti presentassero una proposta preliminare da sottoporre alla valutazione di esperti e, solo per le proposte che avessero superato il primo livello di valutazione, una proposta dettagliata egualmente da sottoporre al giudizio di esperti.

La valutazione delle proposte preliminari

In entrambi i livelli di valutazione il bando prevedeva che la Commissione di selezione doveva consultare almeno due revisori anonimi ed indipendenti per ogni progetto.
Allo scopo di ottimizzare la serenità di giudizio da parte dei revisori si è deciso di utilizzare esperti stranieri o italiani non universitari. Solo in caso di necessità, quando cioè non fosse stato possibile reperire esperti con queste caratteristiche (o per mancanza degli stessi o per loro indisponibilità), si sarebbe ricorso a esperti italiani universitari, evidentemente non partecipanti al progetto da esaminare.
Per quanto riguarda il primo round di valutazione sono state indicate le norme seguenti:
A) La rilevanza del progetto nelle aree di ricerca indicate nel Bando;
le risposte possibili a questa domanda erano: RELEVANT oppure NOT RELEVANT. Se l’opinione del referee è che la proposta non è pertinente per l’area indicata, egli deve ignorare le domande successive.
B) Il valore scientifico della proposta in termini di obiettivi a breve termine.
Il referee deve assegnare un punteggio al contenuto scientifico della proposta, considerando lo stato dell’arte attuale ed il contributo all’avanzamento delle conoscenze nel campo da parte della ricerca proposta.
C) La qualificazione dei proponenti.
Il referee deve assegnare un punteggio alla qualità dell’ attività scientifica precedente dei proponenti e, solo per il primo proponente, all’adeguatezza delle sue capacità manageriali.
D) La rispondenza ai seguenti criteri:
- varie competenze scientifiche devono essere coinvolte nel Centro di ricerca proposto;
- il Centro di ricerca deve anche essere di supporto a programmi di alta formazione;
- deve essere prevista una possibile interazione con la ricerca industriale e/o una possibile ricaduta su pubblici servizi
E) La valutazione dei costi del Centro.
Il referee deve valutare il modo in cui i costi del Centro sono stati giustificati; egli deve mettere in evidenza eventuali stime dei costi troppo elevate e, in tal caso, raccomandare un adeguato taglio della richiesta finanziaria.
F) Le prospettive di sviluppo futuro del Centro.
Il referee deve assegnare un punteggio agli obiettivi a lungo termine e alle ricadute sull’attività futura dei gruppi di ricerca coinvolti nella proposta.

Il referee era informato di poter assegnare un punteggio da 0 a 4 per ciascun quesito (eccetto che per il quesito A, per il quale la risposta è "relevant" o "not relevant"), che le risposte ai quesiti B, C e D erano obbligatorie e che il punteggio complessivo minimo attribuito ai quesiti B, C e D per essere ammessi alla seconda fase della valutazione doveva essere di almeno 10/12.

Si è deciso di usare la banca dei referees dei PRIN e di arricchire quest’ultima con nuovi esperti possibilmente stranieri o italiani non universitari.
In prima istanza si è deciso di trasmettere le proposte preliminari ad almeno tre revisori. Tuttavia è risultato subito chiaro che, a causa dei rifiuti o delle mancate risposte (numerose) da parte di un notevole numero di revisori, bisognava trasmettere i progetti ad un numero più elevato di esperti. Per dare un’idea dei problemi determinati dai rifiuti o dalle mancate risposte (anche in casi in cui il revisore aveva espresso la sua disponibilità a condurre la valutazione), molte proposte sono state trasmesse a più di dieci esperti per poter alla fine ottenere solo due valutazioni.

Nell’ipotesi che, durante la prima fase di valutazione, pervenisse un numero diverso di valutazioni per ciascun progetto, si è deciso di utilizzare le prime tre schede pervenute e di considerare, ai fini dell’ammissione alla seconda fase di valutazione, la media dei punteggi delle due valutazioni più favorevoli.
Nell’ipotesi di due valutazioni fortemente contrastanti, si è deciso di sottoporre la proposta al giudizio di un terzo revisore indipendente.

La valutazione delle proposte dettagliate

Per questa valutazione è stato disegnato dalla Commissione uno schema di proposta che è stato informatizzato dal Cineca. In considerazione del fatto che la maggioranza dei revisori è straniera e delle dimensioni notevoli attese per la gran parte delle proposte si è deciso di richiede ai proponenti solo il testo in lingua inglese.

Ai revisori è stato chiesto un parere sui seguenti punti:

Scientific relevance and quality of the proposed research lines

Adequacy of the scientific background of each participating group

Quality of the High Education Programmes proposed

Relevance of the proposed Education Programmes to the research projects of the Centre

Quality of the overall organisation of the scientific activity of the first three years

Adequacy of the human resources involved in the project

Adequacy of the number and the variety of the research lines to the establishment of a Research Centre

Relevance of the research lines to the objectives of the Centre

Strategic impact of the proposed project in terms of its ability to create or to improve interaction with industrial research and/or of its ability to generate spin-off on public services

Quality of scientific and administrative management of the Centre.

Per il primo quesito i revisori hanno avuto a disposizione un punteggio che va da 0 ad 8. Per gli altri quesiti invece il punteggio poteva variare da 0 a 4.

In questa seconda fase, si è deciso di chiedere il parere agli stessi revisori che avevano espresso un preliminare giudizio positivo nel primo round di valutazione. Anche in questo caso, ci sono stati purtroppo dei rifiuti (pochi) e pertanto sono stati reclutati nuovi revisori, facendo in maniera da non sottomettere la proposta dettagliata ad un valutatore che aveva espresso nella fase preliminare un giudizio negativo. Nel caso di due giudizi fortemente contrastanti, si sarebbe fatto ricorso ad un terzo parere, e dei tre si sarebbe considerata la media dei due migliori.

Considerato che in questa seconda fase i revisori avevano a disposizione 44 punti, si è deciso di prendere in considerazione per il finanziamento, alla luce delle risorse disponibili, le proposte che avessero riportato un punteggio medio di almeno 38/44.

L’attività dei revisori

La seguente tabella illustra il coinvolgimento dei revisori nella fase di valutazione delle proposte preliminari.

                              

 

N° proposte

revisori reclutati

Valutazioni pervenute

%

Media valutazioni per proposta

Area1

52

443

145

32,7

2,8 (min 2 max 4)

Area 2

36

418

108

25,8

3 (min 2 max 4)

Area 3

15

61

35

59

2,3 (min 2 max 3)

Area 4

19

174

51

29,3

2,7 (min 2 max 4)

Area 5

17

161

44

27,3

2,6 (min 2 max 4)

Totale

139

1257

383

30,5

2,7

Dai dati della tabella risulta evidente che per raggiungere l’obiettivo minimo prefissato di almeno due valutazioni per progetto, più una terza in caso di pareri profondamente contrastanti, ci si è dovuti rivolgere a 1257 revisori, che vuol dire una media di 9 revisori per proposta (in alcuni casi si sono dovuti contattare più di 15 revisori) per ottenere una media di 2,7 valutazioni per progetto. Con l’eccezione dell’area 3, per la quale circa la metà dei revisori ha fornito la scheda di valutazione, negli altri casi meno di un terzo dei revisori contattati ha trasmesso la scheda di valutazione. C’è da notare che molti revisori hanno comunicato prontamente la loro indisponibilità ad effettuare la valutazione, ma altrettanti hanno semplicemente ignorato la richiesta.

Per quanto riguarda la seconda fase di valutazione, relativa alle proposte selezionate durante il primo round, si sono registrati solo pochi rifiuti, motivati da impegni che impedivano di dedicare il tempo necessario alla valutazione.
In questa fase, alcuni revisori hanno impiegato molto più delle quattro settimane che erano state loro concesse per effettuare la valutazione.

La selezione delle proposte da finanziare

Per quanto riguarda le proposte preliminari, come si è detto, sono state ammesse alla seconda fase 64 proposte che, ritenute pertinenti rispetto ad una delle aree tematiche, avevano riportato un punteggio medio, relativamente alle due valutazioni più favorevoli ed ai quesiti B, C, e D, di almeno 10/12. La tabella seguente riporta la suddivisione per area delle 64 proposte selezionate:

 

 

N° proposte

Proposte selezionate

Area1

52

26

Area 2

36

19

Area 3

15

5

Area 4

19

7

Area 5

17

7

Totale

139

64

Per quanto riguarda la seconda fase di valutazione, la distribuzione dei punteggi medi è riportata nella seguente tabella:

 

Punteggio medio

N° di proposte

44

1

43

4

42,5

2

42

5

41,5

3

41

3

40,5

2

40

2

39,5

3

39

3

38,5

9

38

7

37,5

3

37

2

36,5

1

36

3

35,5

1

35

1

34,5

1

34

2

33,5

2

32,5

1

28,5

1

21,5

1

Totale

64

Le risorse disponibili non sono risultate sufficienti per finanziare completamente tutte le proposte che hanno riportato punteggi medi superiori a 38/44. Si è deciso pertanto di finanziare, almeno parzialmente le proposte i cui punteggi medi non si discostano più del 10% dal punteggio massimo (cioè punteggi medi maggiori o uguali a 40/44). Il finanziamento proposto è di circa il 68% di quanto richiesto al MURST per le domande che hanno riportato un punteggio medio maggiore o uguale a 42 (12 progetti) e del 57% di quanto richiesto al MURST per le domande che hanno riportato un punteggio medio compreso tra 40 e 41,5 (10 progetti). Per i progetti che hanno riportato un punteggio medio compreso tra 38 e 39,5, e che si ritengono meritevoli di un contributo finanziario, si è proposto un finanziamento del 35% di quanto richiesto al MURST. Per la copertura finanziaria di tale ultimo gruppo di progetti, si è chiesto al Ministero di reperire risorse ulteriori.

Considerazioni conclusive

Sulla base dell’esperienza fatta in occasione del primo bando per il finanziamento dei Centri di eccellenza della ricerca si possono fare le seguenti considerazioni in ordine alle procedure di valutazione.
In primo luogo si ritiene che lo sdoppiamento della procedura di valutazione, in una fase preliminare ed in una successiva fase definitiva, comporta tempi molto lunghi e, soprattutto, un impegno dei revisori a volte molto gravoso. Pertanto, si ritiene opportuno che in occasione del prossimo bando, sia formulata dai gruppi di ricerca una singola proposta definitiva, secondo uno schema quanto più agile possibile, che faccia emergere con chiarezza gli obiettivi e le competenze disponibili.
Trattandosi in molti casi di programmi interdisciplinari di particolare complessità si dovrebbe ottenere che almeno tre revisori esaminassero la proposta. Questo obiettivo non è facile da raggiungere, soprattutto se si chiedono i pareri, come nella procedura appena terminata, a revisori in maggioranza stranieri e con elevata qualificazione. Probabilmente, potrebbe essere utile acquisire preventivamente la disponibilità del revisore. In ogni caso va allargata la banca dati di revisori stranieri, e corretta quella attualmente disponibile specie per quanto riguarda gli indirizzi di posta elettronica.

Per quanto riguarda l’utilizzo dei pareri dei revisori, la Commissione di selezione ha deciso di utilizzare la media dei punteggi attribuiti dai due revisori o, nel caso di proposte esaminate da più di due revisori, la media dei due punteggi più favorevoli. Le motivazioni di tale scelta sono legate alle non poche difficoltà incontrate nel far valutare progetti, che, anche nella forma preliminare, presentavano un notevole complessità. Queste difficoltà hanno portato ad avere per alcuni progetti solo due pareri mentre per altri più di due. Solo in pochi casi quest’ultima eventualità è stata conseguenza di una scelta precisa della Commissione (due pareri fortemente contrastanti, per cui si è chiesto un terzo parere), mentre in molti altri è stata conseguenza del fatto che per molte proposte, per le quali non c’erano accettazioni da parte dei revisori contattati, sono state inviate numerosissime richieste di valutazione. Pertanto si è spesso verificato che anche revisori che non avevano risposto alla richiesta di collaborazione hanno poi fatto pervenire il proprio parere. Per porre tutti i partecipanti nelle stesse condizioni di valutazione, compatibilmente con le procedure di reclutamento dei revisori, si è deciso di usare sempre il punteggio medio di due sole valutazioni, che nel caso di proposte con più di due valutazioni si riferisce alla media dei due pareri più favorevoli.