Giorgio Vittadini

Il problema della misurazione del "prodotto" dell’istruzione universitaria si pone all’interno del più vasto tema dei metodi per la sua valutazione. Tali metodi di valutazione sono fortemente influenzati dalle specificità dell’istruzione universitaria dei servizi erogati dall’istruzione universitaria. Tali servizi come quelli della sanità, dell’assistenza, dell’istruzione secondaria, della formazione professionale, possono essere definiti come servizi alla persona di pubblica utilità (d’ora in poi SPPU). Tali SPPU intendono migliorare aspetti del benessere o non far decrescere particolari aspetti del disagio dell’utente; vengono erogati da agenti (es. università, ospedali, scuole, etc.) secondo una modalità di processo e producono "experience goods", beni e servizi la cui qualità è valutabile solo ex post, dopo l’erogazione del servizio in più intervalli temporali (Gori e Vittadini, 1999). Infatti, essendo i SPPU servizi tipicamente relazionali, i diversi fattori produttivi interagiscono in una prospettiva di "sharing"e il loro valore qualitativo non si può stabilire prima del momento in cui vengano erogati e fino a quando non se ne vedano gli effetti sull’utente. Ad esempio il grado di preparazione scientifica dei docenti, la competenza tecnica dei non docenti, il livello di conoscenze iniziali degli studenti, le qualità degli immobili e delle attrezzature scientifiche dell’ateneo evidentemente determinano l’andamento di una lezione universitaria; tuttavia la sua effettiva qualità è definibile solo dopo il suo svolgimento e misurabile solo dopo l’accertamento dell’effettivo apprendimento degli studenti.

Queste specificità determinano i criteri secondo cui sviluppare un sistema di gestione della qualità degli atenei (Elias, 2002).

Per ciò che concerne le metodologie aziendalistiche atte a valutare la qualità ex-ante, la strada possibile è l’integrazione tra i due metodi più comuni: la certificazione basata sulle norme della serie Uni – En – Iso 9000 (nota 1) e i metodi di accreditamento di eccellenza (nota 2).

Come sta avvenendo in sanità (Pagano, Rossi e Di Lembo, 2001; Elias, 2001; Elefanti e Zangrandi, 2001; Rossi e Vittadini, 2001) occorre giungere ad adottare norme ISO 9000: 2000 che pongono al centro l’utente e la sua soddisfazione. Operativamente occorre predisporre un sistema di gestione di qualità che permetta di (nota 3):

a ) accettare le esigenze e le aspettative degli studenti, delle autorità pubbliche, della collettività;

b ) stabilire gli obiettivi per la qualità dell’ateneo;

c ) individuare i processi e le responsabilità necessarie per conseguire gli obiettivi per la qualità;

d ) determinare i mezzi per prevenire le non conformità ed eliminarne la cause;

e ) stabilire ed applicare il processo per il miglioramento continuo del sistema di gestione per la qualità.

f ) stabilire metodi per valutare i risultati raggiunti e la customer satisfaction (d’ora in poi CS) di ogni processo.

Come si evince dal punto f , si ritiene fondamentale che, alla valutazione ex – ante, si affianchi una valutazione ex – post che permetta di considerare i risultati effettivamente raggiunti (Elias, 2002).

Ciò risponde all’esigenza che i SPPU, essendo utilizzatori di risorse, renda conto alle autorità pubbliche che erogano il finanziamento, alla collettività tutta, agli utenti, ai loro stessi organi dirigenti dei risultati effettivamente raggiunti in termini di qualità dell’istruzione superiore impartita secondo il concetto di "accountability" (Gori e Vidoni, 2002).

Per valutare "l’accountability" occorre costruire indicatori inerenti il grado di apprendimento degli studenti, il più possibile oggettivi e confrontabili nel tempo e nello spazio (Elias, 2002).

Tali indicatori, pur partendo dai risultati dei singoli studenti, non dovranno avere lo scopo di giudicare la loro carriera individuale bensì quello di fornire una valutazione comparativa della qualità degli atenei, comprensibile e valida anche al di fuori della comunità universitaria.

Da questo punto di vista gli indicatori univariati del prodotto dell’istruzione universitaria, basati su frequenze assolute o relative, definiti a livello di atenei, sono insoddisfacenti per quattro ragioni (Vittadini e Sanarico, 2002):

Occorre quindi avere indicatori che:

a) partano da informazioni inerenti il singolo studente;

b) siano costruiti su scala quantitativa o almeno ordinale (Gori e Rampichini, 1989);

c) tengano conto della preparazione precedente dello studente e perciò misurino il valore aggiunto di conoscenza che l’ateneo apporta al singolo studente, rispetto al suo grado di conoscenze iniziali (Fitz-Gibbon, 1997; Ottaviani e Foti, 2000; Gori e Vidoni, 2002).

d) siano analizzati simultaneamente o utilizzando opportuni modelli multivariati (Gori e Vittadini, 1999) o costruendo loro combinazioni lineari o ricavando da essi costrutti latenti individuabili a meno di errori di misura (Gori, Mealli e Rampichini, 1993).

Per stabilire quali indicatori analizzare, occorre anche capire qual è il processo produttivo e il prodotto dell’università. Lo studente i-esimo (i = 1,…,n), iscritto all’università j – esima (j = 1,…,r), caratterizzato da determinate caratteristiche individuali e grado di preparazione precedente x_ij, frequentando l’università j – esima migliora le sue conoscenze. Alla fine dell’università (o di un anno di corso), avrà un determinato grado di preparazione y_ij tale che la differenza y_ij – x_ij misura il valore aggiunto di conoscenza acquisita (Ottaviani e Foti, 2000). Evidentemente il grado di preparazione finale y_ij dipenderà, oltre che da x_ij, dal grado di risorse z_j investite dall’università j – esima, dalla qualità dell’ateneo m_j, da elementi casuali e_ij (dovuti al caso o alla presenza di altre variabili non prese in considerazione), dalla funzione di produzione f che determina il modo attraverso cui da x_ij, z_j, m_j, e_ij si genera y_ij.

Per quanto detto, si ha la seguente funzione di produzione dell’istruzione universitaria (Gori e Vidoni, 2002):

con:

A questo punto è possibile impostare il problema della valutazione dell’istruzione universitaria seguendo la doppia ottica proposta da Lockheed e Hanushek (1994). Il primo criterio distingue tra valutazione in termini monetari, che consiste in un’analisi costi-benefici dell’investimento universitario (valutazione in termini di efficienza), e valutazione in termini "fisici" che quantifica il valore aggiunto in termini di conoscenza apportato dall’ateneo allo studente (valutazione in termini di efficacia). Nella formula (1) il rapporto tra y_ij e z_j individua l’efficienza dell’ateneo j- esimo; il valore atteso e gli intervalli di confidenza del parametro m_j, dati y_ij, x_ij, z_j, ne individuano l’efficacia.

Il secondo criterio distingue tra valutazione del grado di conoscenza, all’interno del sistema universitario (in momenti particolari dell’iter universitario) o al momento immediatamente successivo la laurea, e valutazione esterna al sistema universitario. In altre parole y_ij misura le conoscenze acquisite nel caso di valutazione interna, la capacità di inserimento nella vita lavorativa, nel caso di valutazione esterna. Se si considerano congiuntamente i due criteri, si arriva ai quattro metodi di valutazione (Lockheed e Hanushek, 1994; Primicerio, 2001; Gori e Vidoni, 2002) illustrati nella tabella (1):

Tabella 1

L’efficienza interna è un’analisi costi–benefici che valuta, attraverso un’analisi di bilancio, il rapporto fra il costo monetario degli input impiegati z_jm e ricavo monetario per gli output y_ijm ( o nell’ateneo j – esimo), E’ l’ottica aziendalistica più tradizionale che quindi non sarà presa in considerazione in questo lavoro (nota 4).

Più interessante è la valutazione dell’efficienza esterna, vale a dire l’analisi costi – benefici del rapporto tra costo monetario degli input impiegati z_jm e capitale umano y_{ijm (E)} dei laureati dell’ateneo j - esimo, inteso come ammontare di reddito e patrimonio conseguiti grazie al fatto di aver conseguito la laurea (nota 5).

Sotto il profilo dell’efficacia interna, si vuole invece verificare quale parte del valore aggiunto di conoscenza dello studente (y_ij(0) – x_ij) alla fine di diversi stadi degli studi universitari o immediatamente dopo la laurea, sia attribuibile all’ateneo (mediante il parametro m_j). Infine, attraverso l’efficacia esterna (nota 6), si intende misurare in termini non monetari quale parte della capacità di inserimento nel lavoro (capacità lavorativa, tempo di attesa del lavoratore, tipo di lavoro etc.) y_ij(E)) sia attribuibile all’ateneo j – esimo (mediante il parametro m_j(E)).

Gli studi sull’efficacia ed efficienza dell’istruzione hanno una prima fioritura a livello internazionale, soprattutto ad opera di studiosi inglesi (Hanushek, 1986; Hoenack e Collins, 1990; Smith, 1990). Sotto il profilo più specificamente statistico, numerosi sono i lavori aventi come oggetto l’analisi delle cause sottostanti la durata degli studi universitari, (Allison, 1982; Goldstein, 1991), l’analisi della relazione fra risorse a disposizione degli istituti scolastici e risultati in test di apprendimento, mediante regressioni multiple (Pincus e Rolph, 1986), l’esame dei risultati scolastici in funzione dei diversi "fattori produttivi" (professori, tipo di scuola) attraverso analisi di tipo parametrico con variabili dipendenti quantitative (Maddala, 1983) e qualitative (Copas, 1990), analisi non parametriche (Heckman, 1990; Mansi, 1990), analisi mediante modelli multilevel (Aitkin e Longford, 1986).

Per ciò che concerne specificatamente gli studiosi italiani, un valido apporto al tema della valutazione dell’istruzione universitaria è stato dato innanzitutto da un gruppo di ricerca facente capo a Luigi Fabbris e Marisa Civardi. Il primo argomento di interesse è stata la customer satisfaction degli studenti (d’ora in poi CS). Innanzitutto Fabbris e Gasparotto (2000) descrivendo i diversi modelli di valutazione della didattica, mettono in luce l’esistenza di un modello giudicatorio nel quale lo studente si pone "in condizione di giudicare i comportamenti cui ha assistito". Secondo questa logica si imposta la valutazione della qualità della didattica ex-post basata sui giudizi degli studenti. Gola (2000) mostra le differenze tra un processo di valutazione interna o auto valutazione e una certificazione esterna o audit. Civardi e Zavarrone (2000) in successivi articoli presentano esempi di CS in cui si ricercano le dimensioni latenti della valutazione degli studenti attraverso modelli strutturali tipo Lisrel.

Cazzaro, Maffenini e Polisicchio (2000) indagano sui non rispondenti a tali questionari per capire le ragioni che inducono a non frequentare i corsi, mediante strumenti di analisi multivariata e analisi logistiche. D’Epifanio (2000) mostra le possibili applicazioni delle indagini di CS per la valutazione comparativa di differenti facoltà ed atenei attraverso modelli strutturali e multilevel. Ottaviani e Foti (2000) confrontano la CS degli studenti con auto - valutazioni degli studenti sul loro grado di preparazione mediante analisi dell’omogeneità tra caratteri (nota 7). Rampichini, Grilli e Petrucci (2000) costruiscono mediante modelli multilevel un indicatore multidimensionale sulla qualità della didattica sempre partendo da CS di studenti. Grilli e Rampichini (2001) validano, mediante un modello ordinale a componenti di varianza con variabili latenti, le valutazioni di CS degli studenti.

Altri lavori analizzano l’efficacia interna, tentando di misurarla in termini "oggettivi".

Carpita (1999) affronta il tema della durata degli studi universitari in funzione delle diverse caratteristiche personali, attraverso un modello logit. Rampichini e Petrucci (2000) mettono in relazione risultati di CS degli studenti con dati inerenti le probabilità di superamento degli esami mediante modelli strutturali e multilevel. Petrucci e Rampichini (2000) analizzano le motivazioni del tasso di abbandono precoce mediante modelli di durata e multilevel. Schizzerotto (2002) analizza attraverso regressioni logistiche le cause dei drop-out universitari.

Rilevanti sono poi i lavori di Gori. Gori studia mediante il modello multilevel le motivazioni sottostanti: il nesso fra conseguimento o meno della laurea (1992 a, 1992 b). Gori e Rampichini (1996) mediante un modello probit ordinale tentano di spiegare le cause che determinano la variabilità dei voti di laurea. Compagnino e Gori (1995) e Gori e Montagni (1997), investigano sulle ragioni che determinano il variare dei tassi di laurea fra i diversi atenei.

Si hanno poi numerosi studi inerenti l’efficacia esterna degli studi universitari. Un primo filone (Fabbris et al., 2001) mediante tecniche di valutazione CATI analizza la "graduate satisfaction" di laureati mettendola in relazione con la loro condizione lavorativa. L’indagine Istat, mediante indagine postale e tecniche di rilevazione CATI sui laureati (2000), analizza le tipologie di lavoro ottenuto dai laureati. Altri lavori (Rampichini e Petrucci, 2000; Ortu et al., 2000) esaminano il tempo di attesa di prima occupazione dei laureati mediante modelli di durata gerarchici, analisi delle corrispondenze, modelli di durata usati congiuntamente a modelli multilevel. Un’ analisi svolta dall’Osservatorio per la valutazione indaga sul nesso tra corso di laurea frequentato e risultato nella ricerca del lavoro (Biggeri, Bini e Grilli, 1999).

Gli autori moderni che studiano la CS sono perplessi nel ritenerla l’esclusivo indicatore dell’efficacia degli atenei. Secondo Fabbris e Gasparotto (2000) il modello giudicatorio che affida tutta la responsabilità della valutazione allo studente risulta velleitario senza altri riscontri valutativi; Civardi e Zavarrone (2000), dall’analisi di numerosi risultati empirici mettono in luce come i questionari di CS portino a risultati diversi a seconda dei contesti ove vengono somministrati. Rampichini e Petrucci (2000) ne chiariscono il motivo: la CS è influenzata da differenti criteri valutativi degli studenti quali le motivazioni per gli studi universitari e le conoscenze preliminari. La CS fornisce informazioni utili allo studio dell’efficacia interna solo se è analizzata congiuntamente a tali criteri valutativi. Per questo Ottaviani e Foti (2000) suggeriscono di utilizzare con molta cautela la CS per scopi inerenti la valutazione dell’attività dei docenti, soprattutto se tale valutazione deve servire a determinare la qualità differenziale delle diverse università. Del resto, lo stesso Comitato Nazionale per la valutazione del sistema universitario pone pesanti interrogativi sull’utilizzo dei questionari di CS come strumento esclusivo per comparazioni interuniversitari basato sulla qualità della didattica (nota 8). La cautela deve essere ancor più forte quando si parla di efficacia esterna perché in tal caso, secondo Rampichini e Petrucci (2000), la qualità percepita dal neolaureato è totalmente sganciata dalla reale efficacia esterna degli studi (legata invece a capacità individuali, motivazioni, impegno degli studi, qualità oggettiva dell’ateneo).

Nel valutare il valore aggiunto, occorre avere alcune cautele. Si osservi la seguente tabella 2:

Tabella 2

Siano dati due atenei A e B e una coorte di studenti la cui capacità e grado di preparazione all’entrata può essere valutata come bassa, media, alta.

Per motivi casuali la suddivisione all’ingresso per capacità è differente tra i due atenei: per l’ateneo A 60%, 30%, 10%, per l’ateneo B 10%, 30%, 60%.

Se si ipotizza che per semplicità in questo caso la capacità di condurre uno studente alla laurea sia sinonimo di efficacia, l’ateneo A manifesta la sua maggior capacità in quanto il 30%, 60%, 90% degli studenti rispettivamente con capacità bassa – media – alta si laurea contro il 10%, 40%, 70% dell’ateneo B.

Tuttavia per la diversa composizione all’ingresso, il tasso di laurea complessivo risulta minore nell’ateneo A (45%) rispetto all’ateneo B (53%). È il cosiddetto "paradosso di Simpson" (Gori e Romano, 1990; Gori, 1991; Gori e Vittadini, 1999). Se si valuta il tasso di laurea indipendentemente dalle caratteristiche di partenza, si finisce per non considerare il valore aggiunto dall’istruzione superiore e per avere una valutazione distorta degli atenei. Anzi, qualora la valutazione divenga gravida di conseguenze operative, si può giungere ad escludere gli studenti con capacità basse e medie dell’istruzione superiore (selezione avversa) (nota 9).

Occorre valutare "coeteris paribus" al netto delle caratteristiche individuali altrimenti la valutazione dell’ateneo sarà distorta dalle caratteristiche individuali degli studenti. Non solo, poiché anche l’ammontare di risorse impiegate influenza la capacità di generare il valore aggiunto di conoscenze, valutare coeteris paribus significa anche tener conto del differente ammontare delle risorse impiegate e della conseguente diversità nella qualità e quantità dei fattori produttivi (personale docente, personale non docente, immobili, infrastrutture, etc.) impiegati dai diversi atenei.

Per quanto detto, basare la valutazione degli atenei esclusivamente sulla CS o non valutare in termini coeteris paribus oltre alla già citata selection bias e selezione avversa porta al cosiddetto "effetto tunnel", per cui tutta la didattica viene ad essere influenzata negativamente (Smith, 1990; Gori e Vittadini, 1999). Il tentativo di "accattivarsi" il favore degli studenti potrebbe portare a un decadimento della qualità della didattica, a una minor severità negli esami, a una diminuzione del valore aggiunto delle conoscenze acquisite dagli studenti, a una loro minore capacità di inserimento nel mercato del lavoro.

Tali suggerimenti determinano i criteri per la scelta degli indicatori.

Innanzitutto si è visto che per una valutazione coeteris paribus è fondamentale tener conto delle caratteristiche individuali all’ingresso dell’università (x_ij) nel modello (1). A riguardo della preparazione precedente, le informazioni più facilmente acquisibili sono date dal voto di maturità e dai voti conseguiti durante l’iter scolastico nella scuola secondaria superiore. Tuttavia il voto di maturità, come le votazioni precedenti, è inattendibile perché a causa dei diversi criteri di valutazione e del diverso grado di difficoltà delle scuole e della non selettività della prova di maturità, non permette di chiarire le differenze reali in termini di preparazione e capacità degli studenti.

È necessario perciò avere a disposizione indicatori più oggettivi che attestino il grado di preparazione prima dell’università attraverso opportuni test ( ad esempio test effettuati per decidere dell’entrata in facoltà ove vi sia il numero programmato come il GRI per le università americane (nota 10)) o test effettuati ad hoc, Come ulteriori indicatori della preparazione acquisita in precedenza si può aggiungere la regolarità degli studi pre – universitari (conseguimento o meno del diploma entro il diciannovesimo anno di età) e il ritardo nell’iscrizione (rispetto all’anno di diploma) (Gori e Romano, 1990; Gori e Pasca, 1992). Altre variabili socio – economiche e di stato civile possono fornire informazioni ulteriori a riguardo delle capacità individuali.

Per quel che concerne gli indicatori di output che descrivono l’efficacia interna (y_ij nel modello 1), si possono rilevare e utilizzare:

1. il voto agli esami (Gori e Rampichini, 1989)
1. il voto e il tempo di laurea (Heckman e Robb, 1986; Gamoran e Mare, 1989; Murnane, Newstead e Olsen, 1985)
1. il voto e il tempo di dropout (Gori ed al., 1998)
1. il tasso di laurea (Gori ed al., 1998) (nota 11)
1. la CS degli studenti, che acquista senso se accompagnata da altri indicatori.

Il valore degli indicatori proposti è però inficiato dalla differente severità degli studi e dai diversi criteri di valutazione adottati nei diversi corsi di laurea ed atenei. Due sono le strade possibili per tenere conto di queste discrepanze:

1. somministrare test identici nei diversi atenei valutandoli mediante un unico gruppo di valutatori o usare i risultati di esami di stato ed esami di abilitazione.
1. Utilizzare la Rasch Analysis (R.A.), strumento statistico che permette di riponderare i voti in esami e laurea tenendo conto della diversa difficoltà degli studi e del diverso metro di valutazione. Infatti la R.A., riuscendo a scomporre la valutazione nella parte dovuta alla preparazione degli studenti e nella parte dovuta al diverso grado di difficoltà e alla diversa valutazione, permette di enucleare la capacità differenziale dei diversi atenei di fornire conoscenze agli studenti (Bassiri e Schulz, 2001; Bassiri e Schulz, 2002).

Si ha in termini formali:

con:

• a_i parametro relativo all’abilità dell’ i-esimo
• c_j parametro relativo a difficoltà e interna valutazione del j-esimo ateneo

Per ciò che concerne l’efficacia esterna le indagini Istat sui tempi di attesa e le tipologie di occupazione possono essere rese sistematiche in modo da rilevare sistematicamente:

1. la "probabilità di occupazione" dei laureati in cerca di lavoro, ricavata dal tempo di attesa del lavoro (nota 12);
1. la "probabilità di occupazione" dei laureati già occupati, ricavata dalla permanenza nella condizione di non occupati di coloro che hanno trovato un lavoro (nota 13);
1. la "probabilità di occupazione coerente con il tipo di laurea conseguita" (nota 14).

Per ciò che concerne l’efficienza esterna, gli indicatori preferibili sono: reddito dei laureati (Garen, 1984; Heckman e Robb, 1986), ricchezza dei laureati, capitale umano (Gori e Vittadini, 1999).

Il capitale umano (Stiefel, 1997), mai quantificato a livello di distribuzione delle famiglie, in recenti studi è stato definito come costrutto teorico latente stimato a partire da indicatori qualitativi (posizione lavorativa, tipo di occupazione, settore) e quantitativi (ricchezza, reddito) per le famiglie americane (Dagum C. e Vittadini, 1996). Si apre quindi la strada per una sua utilizzazione sistematica anche in termini longitudinali, onde valutare l’impatto del valore aggiunto dell’istruzione superiore ricevuta in differenti atenei sulle potenzialità di reddito e patrimonio del laureato.

Lo strumento statistico atto ad effettuare valutazioni coeteris paribus è il modello multilevel (Goldstein e Spiegelhalter, 1996; Goldstein, 2001).

Per tener conto delle caratteristiche individuali e delle risorse impiegate dato l’i- esimo studente (i = 1,…..n) e lo j-esimo ateneo (o facoltà) (j=1,………p), il modello (1) assume la seguente formulazione:

ove

Risolvendo il modello (Hox, 1995; Goldstein, 1995)si ricava la distribuzione casuale dei parametri m_j rispetto ai diversi atenei. Il loro valore atteso e i loro intervalli di confidenza permettono di ricavare e costruire graduatorie relative tra atenei (o i corsi di laurea), sulla base della loro differente efficacia. I risultati sono spesso espressi in termini di intervalli di confidenza dei parametri m_j.

BIBLIOGRAFIA

Aitkin M., Longford N. (1986) Statistical modelling issues in school effectiveness studies, "Journal of the Royal Statistical Society", A 149

Albergamo C., Pace S. (2001) Indagine ISTAT sull’inserimento professionale dei laureati: da rilevazione postale a CATI, in Metodi e tecniche per le rilevazioni assistite da computer (Volume 4) a cura di Luigi Fabbris, Captor 2000: Qualità della didattica e sistemi computer-assisted CLEUP, Padova.

Allison P.D. (1982) Discrete – time methods for the analysis of event histories, Sociological Methodology, Leindhart S. ed., S.Francisco, pp.61 –98.

Azione G. (2001) L’analisi delle attività amministrative delle università, in Atti del Convegno Intermedio SIS 2001, Processi e metodi statistici di valutazione, Sessioni plenarie (Roma 4-6 Giugno 2001), Università di Roma "Tor Vergata".

Bassiri D., & Schulz, E.M. (2001) Alternative to grade point averages as measures of academic achievement in college, ACT Research Report 2001 – 4, Iowa city, IA: ACT, Inc. Conditionally accepted for publication in Journal of Applied Measurement pending revisions.

Bassiri D., & Schulz, E.M. (2002) Using Adjusted – GPA and Adjusted Course Difficulty Measures to Evacuate Differential Grading Practices in College. Paper presented at the Eleventh International Objective Measurement Workshop. New Orleans, LA. April, 2002-09-12.

Biggeri L., Bini M., Grilli L. (1999) The transition from university to work: a multilevel approach to the analysis of the time to get the first job, Working Papers, n.79, Dipartimento di Statistica "G. Parenti", Università degli Studi di Firenze.

Capursi V., Porcu M.(2001) La didattica universitaria valutata dagli studenti: un indicatore basato su misure di distanza fra distribuzione di giudizi. In Atti del Convegno Intermedio SIS 2001, Processi e metodi statistici di valutazione, Sessioni Spontanee (Roma 4-6 Giugno 2001), Università di Roma "Tor Vergata".

Carpita M. (1999) Modelli di regressione in presenza di problemi di misurazione e di selezione – uno studio sul reddito da lavoro dei laureati in Economia e Commercio dell’Università di Brescia, Rivista della Società Italiana di Economia demografica Statistica, n. 7.

Cazzaro M., Maffenini W., Polisicchio M. (2000) Presenza e frequenza degli studenti ai corsi universitari: aspetti descrittivi, multivariata e motivazionali, in Metodi e tecniche per le rilevazioni assistite da computer (Volume 3) a cura di Marisa Civardi e Luigi Fabbris, Valutazione della didattica con sistemi computer-assisted, CLEUP,Padova.

Civardi M., Zavarrone E. (2000) La qualità nella valutazione della didattica universitaria: verifica di validità e di attendibilità del questionario di rilevazione, in Metodi e tecniche per le rilevazioni assistite da computer (Volume 2) a cura di Antonio Giusti, Ingegnerizzazione del processo di produzione dei dati statistici, CLEUP, Padova.

Civardi M., Zavarrone E. (2000) Strategie di rispecificazione di modelli equivalenti per la valutazione della qualità della didattica universitaria, in Metodi e tecniche per le rilevazioni assistite da computer (Volume 3) a cura di Marisa Civardi e Luigi Fabbris, Valutazione della didattica con sistemi computer-assisted, CLEUP, Padova.

Compagnino A., Gori E. (1995) L’università in Toscana, evoluzione, problemi e prospettive, IRPET. Franco Angeli, 1995.

Copas J.B. (1990) A likelihood approach to sample selectivity in multiple and binary regression models for comparative studies, Preprint 20/90, School of Math. And Stat., Birmingham.

Dagum C., G. Vittadini G. (1996) "Model expecification and distribution of the family human capital with applications", presentato con il titolo "Personal human capital measurement and distribution" il 7 Agosto 1996 all’Annual meeting of the American Statistical Association, Chicago, 4-8 Agosto 1996, ripubblicato come (1997) "Estimation and Distribution of Human Capital with Applications", in "Scritti di Statistica Economica", vol. 3, pp. 115-131, a cura di C. Quintano, ed. Rocco Curto (1997). A C. Dagun si attribuiscono i paragrafi 1,2,3; a G. Vittadini si attribuiscono i paragrafi 4,5,6, mentre il paragrafo 7 ad entrambi.

D’Elia A., (2001) Efficacia didattica e strutture universitarie: la valutazione mediante un approccio statistico, in Atti del Convegno Intermedio SIS 2001, Processi e metodi statistici di valutazione, Sessioni Spontanee (Roma 4-6 Giugno 2001), Università di Roma "Tor Vergata".

D’Epifanio G. (2000) Valutazione della qualità competitiva di servizi universitari, in Metodi e tecniche per le rilevazioni assistite da computer (Volume 3) a cura di Marisa Civardi e Luigi Fabbris, Valutazione della didattica con sistemi computer-assisted, CLEUP,Padova.

Elias G. (2001). Perché più qualità? In Non Profit, numero 4, 2001, Maggioli, Rimini.

Elias G. (2002) La valutazione del sistema istruzione. Fondazione Liberal Incontri internazionali Milanoliberal. Milano, 18 Aprile 2002-09-12.

Elias G. (2002) L’accreditamento del processo e la misura del risultato, in Workshop su "Valutazione dell’Università, accreditamento del processo, misurazione del prodotto", Università degli Studi Milano Bicocca, 16 maggio 2002.

Elefanti M., Zangrandi A. (2001). Nuove prospettive per la valutazione della qualità in sanità. In Non Profit, numero 4, 2001, Maggioli, Rimini.

Fabbris L., Gasparotto C.(2000) Modelli di valutazione della qualità della didattica universitaria, in Metodi e tecniche per le rilevazioni assistite da computer (Volume 4) a cura di Luigi Fabbris, Captor 2000: Qualità della didattica e sistemi computer-assisted, CLEUP, Padova.

Fabbris L., Giusti A. (2001) Il progetto EXPERTUM: Sperimentazione di sistemi computer-assisted per rilevazione della qualità della didattica e dell’inserimento professionale dei laureati, in Atti del Convegno Intermedio SIS 2001, Processi e metodi statistici di valutazione, Sessioni plenarie (Roma 4-6 Giugno 2001), Università di Roma "Tor Vergata".

Fabbris L., Martini M.C., Rota G., Solari D., Zaccarin S. (2001) Questionari per la rilevazione CATI dell’inserimento lavorativo e professionale di laureati universitari, in Metodi e tecniche per le rilevazioni assistite da computer (Volume 4) a cura di Luigi Fabbris, Captor 2000: Qualità della didattica e sistemi computer-assisted CLEUP, Padova.

Ferrari G., Laureti T., Maltagliati M., (2001) La valutazione DEA dell’efficienza del processo formativo nell’Ateneo Fiorentino, in Atti del Convegno Intermedio SIS 2001, Processi e metodi statistici di valutazione, Sessioni Spontanee (Roma 4-6 Giugno 2001), Università di Roma "Tor Vergata".

Fitz-Gibbon C.T. (1997) The Value Added National Project, Final Report, CEM e University of Durham.

Gamoran A., Mare R.D. (1989), Secondary school tracking and educational : compensation, reiforcement, or neutrality ?, American Journal of Sociology, 9A.

Garen J. (1984) The returns to schooling: a selectivity bias approach with a continuous choice variable, Econometrica, 52.

Gola M.M. (2000) Modelli di valutazione dei corsi di studio universitari, in Metodi e tecniche per le rilevazioni assistite da computer (Volume 3) a cura di Marisa Civardi e Luigi Fabbris, Valutazione della didattica con sistemi computer-assisted, CLEUP, Padova.

Goldstein H. (1991). Nonlinear multilevels models, with an application to discrete response data. In Biometrika, numero 1, 1991.

Goldstein H. (1995) Multilevel Statistical Models, Edward Arnold, London.

Goldstein H., Spiegelhalter D.J. (1996) "League Tables and Their Limitations: Statistical Issues in Comparisons of Institutional Performance", Journal of the Royal Statistical Society, A, vol. 159, part. 3, pp.385 – 443.

Gori E., (1991) I laureati dell’Ateneo fiorentino. Gli anni 80, in Osservatorio Studenti, Università degli Studi di Firenze.

Gori E. (1992a) La valutazione dell’efficacia ed efficienza dell’istruzione, Atti della XXXVI riunione scientifica SIS (Pescara 21-24 Aprile 1992), vol. 1.

Gori E. (1992b) Variabili latenti e "self – selection" nella valutazione dei processi formativi, in Chiandotto B., Trivellato U. (1992), Errori nelle variabili e variabili latenti in modelli strutturali stocastici, Statistica, Bologna.

Gori E., Fabbri D., Ukovich W. (1998) Alcuni suggerimenti per la costruzione di un sistema di monitoraggio e valutazione dell’università, Osservatorio per la valutazione del sistema universitario, MURST, Roma.

Gori E., Mealli F., Rampichini C. (1993) Indicatori di efficienza e d efficacia per la valutazione dell’attività di formazione professionale, in Statistica, numero 3, 1993.

Gori E., Montagni M. (1997) Ramdom effects models for event data-evaluating effectiveness of university through the analysis of student careers, Multilevel Modelling Newsletter, Vol. 10, No. 1, ESRC, England.

Gori E., Pagani L., Seghieri C. (2001) L’efficacia dell’istruzione media superiore rispetto alla carriera universitaria dei maturi, in Atti del Convegno Intermedio SIS 2001, Processi e metodi statistici di valutazione, Sessioni Spontanee (Roma 4-6 Giugno 2001), Università di Roma "Tor Vergata".

Gori E., Pasca E. (1992) Tasso di laurea, confronti internazionali e abbandono precoce. Osservatorio Studenti, Università degli Studi di Firenze.

Gori E., Rampichini C. (1989) Gli studenti dell’Ateneo fiorentino, Notiziario n.10, Università degli Studi di Firenze.

Gori E., Rampichini C. (1991) "I risultati dell’istruzione universitaria. Un’analisi degli archivi dell’Ateneo fiorentino", Working Papers, 36, Dipartimento Statistico, Firenze, pp. 219 – 230.

Gori E., Rampichini C. (1996) Modelli a componenti di varianza con risposta ordinale, in Atti della XXXVIII Riunione Scientifica della SIS, Rimini, Maggioli ed.

Gori E., Romano M.F. (1990) I risultati dell’istruzione universitaria: il ruolo dei fattori individuali e di struttura. In Economia e Diritto del Terziario, 2, Genova.

Gori E., Vidoni D. (2002) Alcune riflessioni sullo sviluppo di strumenti di (auto) controllo e di intervento organico nei sistemi informativi, numero 3, 2002-09-18.

Gori E., Vittadini G. (1999) (a cura di) Qualità e valutazione nei servizi di pubblica utilità, ETAS, Milano.

Grilli L., Rampichini C. (2001) Modelli ordinali a componenti di varianza per la valutazione della didattica universitaria, in Atti del Convegno Intermedio SIS 2001, Processi e metodi statistici di valutazione, Sessioni Spontanee (Roma 4-6 Giugno 2001), Università di Roma "Tor Vergata".

Hanushek E.R. (1986) "The economics of schooling: production and efficiency in the puplic schools", Journal of Economic Literature, 24, pp. 1141 – 1177.

Heckman J.J. (1990) Variety of selection bias, American Economy Review.

Heckman J.J., Robb R. (1986) Alternative methods for solving the problem of selection bias in evaluating the impact of treatments on outcomes, in H.Wainer H. (ed.) Drawing Inference from Self – Selected Samples, Springer Verlag, New York.

Hoenack S.A., Collins E.L. (1990) The Economics of American Universities, State Univ. of New York Press, Albany

Hox J.J. (1995) Applied Multilevel Analysis TT – Publikaties, Amsterdam.

Lalla M., Facchinetti G. (2001). Scale e insiemi sfocati per valutare la didattica universitaria. In Atti del Convegno Intermedio SIS 2001, Processi e metodi statistici di valutazione, Sessioni Spontanee (Roma 4-6 Giugno 2001), Università di Roma "Tor Vergata".

Lei, P., Bassiri D., & Schulz, E. M. (2001). Alternatives to grade point averages as measures of academic achievement in college. ACT Research Report 2001-4. Iowa City, IA: ACT, Inc. Conditionally accepted for publication in Journal of Applied Measurement pending revisions.

Lockheed M.E., Hanushek E.R. (1994) Concepts of Educational Efficiency and Effectiveness, International Encyclopedia of Education, Second Edition.

Machman J.J., Robb R. (1986) Alternative methods of solving the problem of selection bias in evaluating the impact of treatments on outcomes, inH. Wainer H. (ed.) Drawing Inferences from Self-Selected Samples, Springer-Verlag, New York.

Maddala G.S. (1983) Limited – dependent and qualitative variables in econometrics, Cambridge University Press, Cambridge, USA.

Manski C.F. (1990) Nonparametric bounds on treatment effects, American Economic Review, vol.80, pp.319 –323.

Mignani S., Cagnone S., Marzocchi G.L. (2001) Un modello per l’analisi della soddisfazione degli utenti dei servizi universitari di segreteria, in Atti del Convegno Intermedio SIS 2001, Processi e metodi statistici di valutazione, Sessioni Spontanee (Roma 4-6 Giugno 2001), Università di Roma "Tor Vergata".

Milioli M.A. (2001) Analisi Multivariate della didattica universitaria: il caso della facoltà di Economia di Parma, in Atti del Convegno Intermedio SIS 2001, Processi e metodi statistici di valutazione, Sessioni Spontanee (Roma 4-6 Giugno 2001), Università di Roma "Tor Vergata".

Moramarco V. (1999) Qualità ed efficienza economica, in Gori E., Vittadini G. (1999) (a cura di) Qualità e valutazione nei servizi di pubblica utilità, ETAS, Milano.

Murnane R.J., Newstead S., Olsen R.J. (1985) Comparing public and private schools: the puzzling role of selection bias, in Journal of Business & Economic Statistics, 3.

Ortu A., Puggioni G., Tedesco N. (2000) Inserimento nel mercato del lavoro dei laureati in Scienze Politiche dell’università di Cagliari, in Metodi e tecniche per le rilevazioni assistite da computer (Volume 3) a cura di Marisa Civardi e Luigi Fabbris, Valutazione della didattica con sistemi computer-assisted, CLEUP,Padova.

Ottaviani M.G. (2000) L’efficacia scolastica come valore aggiunto: considerazioni introduttive, in Metodi e tecniche per le rilevazioni assistite da computer (Volume 3) a cura di Marisa Civardi e Luigi Fabbris, Valutazione della didattica con sistemi computer-assisted, CLEUP,Padova.

Ottaviani M.G., Foti G. (2000) La qualità della didattica universitaria: autovalutazione dello studente e valutazione del docente nel questionario sulla valutazione, in Metodi e tecniche per le rilevazioni assistite da computer (Volume 2) a cura di Antonio Giusti, Ingegnerizzazione del processo di produzione dei dati statistici, CLEUP,Padova.

Pagano A., Rossi C., Di Lembo S. (2001). Il total quality management per il miglioramento della qualità in sanità. In Non Profit, numero 4, 2001, Maggioli, Rimini.

Petrucci A., Rampichini C. (2000) Metodi statistici per l’analisi dell’esito di studi universitari, in Metodi e tecniche per le rilevazioni assistite da computer (Volume 1) a cura di Luigi Fabbris, Il questionario elettronico, CLEUP,Padova.

Pincus J., Rolph J.E. (1986) How Much Is Enough? Applying Regression to a School Finance case, in Statistics and The Law, DeGroot M.H., Fienberg S.E., Kadane J.B., John Wiley, New York.

Primicerio D. (2001) Le attività di ricerca svolte ed attivate dal Comitato Nazionale per la valutazione del sistema universitario, in Atti del Convegno Intermedio SIS 2001, Processi e metodi statistici di valutazione, Sessioni plenarie (Roma 4-6 Giugno 2001), Università di Roma "Tor Vergata".

Rampichini C., Grilli L., Petrucci A. (2000) Analisi della didattica universitaria attraverso modelli multi-livello, in Metodi e tecniche per le rilevazioni assistite da computer (Volume 3) a cura di Marisa Civardi e Luigi Fabbris, Il questionario elettronico, CLEUP, Padova.

Rampichini C., Petrucci A. (2000) Indicatori statistici per la valutazione della didattica universitaria, in Metodi e tecniche per le rilevazioni assistite da computer (Volume 3) a cura di Marisa Civardi e Luigi Fabbris, Valutazione della didattica con sistemi computer-assisted, CLEUP,Padova.

Rampichini C., Petrucci A. (2001) La ricerca della prima occupazione: un modello di durata per i laureati dell’Ateneo fiorentino, in Metodi e tecniche per le rilevazioni assistite da computer (Volume 4) a cura di Luigi Fabbris, Captor 2000: Qualità della didattica e sistemi computer-assisted, CLEUP,Padova.

Rettore E., Trivellato U., Martini A. (2001) Valutare gli effetti di interventi sociali in presenza di selezione, in Atti del Convegno Intermedio SIS 2001, Processi e metodi statistici di valutazione, Sessioni plenarie (Roma 4-6 Giugno 2001), Università di Roma "Tor Vergata.

Rossi C, Vittadini G. (2001). Nuove prospettive per la valutazione della qualità in sanità. In Non Profit, numero 4, 2001, Maggioli, Rimini.

Schizzerotto A. (2002) Dinamiche e motivazioni dell’abbandono degli studi universitari: l’esperienza di Milano Bicocca, in Workshop su "Valutazione dell’Università, accreditamento del processo, misurazione del prodotto", Università degli Studi Milano Bicocca, 16 maggio 2002.

Smith P. (1990) The Use of Performance Indicators in the Public Sector, Journal of the Royal Statistical Society, 1990, A, vol. 153, pp.53-72.

Squarzoni A. (2001) Sperimentazione di un modello di valutazione dei corsi di studio in ingegneria ai fini dell’accreditamento, in Atti del Convegno Intermedio SIS 2001, Processi e metodi statistici di valutazione, Sessioni plenarie (Roma 4-6 Giugno 2001), Università di Roma "Tor Vergata".

Stiefel L. (1997) Measurement of Output Quality in US Nonprofit Organizations, in Atti del Convegno SIS 1997, La statistica per le Imprese, (Torino, 2-4 Aprile 1997).

Vittadini G., Sanarico M. (2002) Metodologia per lo studio dell’efficacia relativa in sanità, in Statistica Applicata, 2002.