04:45 21 Oct 2017
cerca

Sistema di Valutazione della Performance
del Sistema Sanitario Toscano

La storia e l'evoluzione

La Regione Toscana ha inteso introdurre, con il sistema di valutazione della performance, uno strumento di governo del sistema sanitario regionale in cui gli orientamenti strategici di lungo periodo fossero monitorati congiuntamente con gli obiettivi di breve periodo e dove il governo della spesa fosse integrato con le misure di risultato al fine di evidenziare il valore prodotto per il cittadino. Se, infatti, è importante che le aziende sanitarie del sistema riescano a perseguire l'equilibrio economico finanziario questo non è certamente sufficiente.
Fondamentale è che le risorse della collettività creino "valore", ossia che siano adeguatamente utilizzate, con efficienza e appropriatezza, per fornire servizi di elevata qualità garantendo l'accesso e l'equità. Con questi presupposti il Laboratorio Management e Sanità costituito dalla Scuola Superiore Sant'Anna in collaborazione con la Regione Toscana, ha progettato e implementato in tutte le Aziende Sanitarie della Toscana il Sistema di Valutazione della Performance, per misurare la capacità di ogni Azienda di essere strategicamente efficace ed efficiente, sia rispetto al territorio in cui opera, sia nell'ambito del sistema regionale in cui è inserita.

Già nel Piano sanitario regionale 2002-2004 infatti, e poi nei piani sanitari regionali successivi, la Regione Toscana indicava gli obiettivi, i valori ed i principi operativi del modello toscano di sanità.
Tra questi, sicuramente irrinunciabili il principio dell'universalità e della programmazione, dell'efficacia e dell'efficienza.
In particolare la programmazione è stata ritenuta fondamentale per ottenere la corrispondenza tra i bisogni dei cittadini e la tipologia, la qualità e la quantità delle prestazioni erogate, evitando sprechi di risorse e garantendo l'appropriatezza dei servizi.
In questo contesto, per supportare, valutare e valorizzare l'azione delle aziende quali soggetti fondamentali del sistema responsabili della realizzazione degli orientamenti regionali, la Toscana ha ipotizzato fin dal 2002 l'attivazione di un Sistema per monitorarne la performance, prevedendo la misurazione di molteplici variabili rilevanti nel perseguimento degli obiettivi strategici regionali.

Con queste premesse, nel 2001 la Regione Toscana, con decreto n. 7425 del 18/12, ha affidato al gruppo di ricerca della Scuola Superiore Sant'Anna l'incarico di predisporre un progetto di prefattibilità per un Sistema di Valutazione e Valorizzazione della Performance delle Aziende Sanitarie Toscane.

Successivamente, con decreto n. 3065/2003, richiese una prima implementazione del sistema alla Scuola Superiore Sant'Anna selezionando quattro aziende sanitarie in cui avviare la sperimentazione, ossia l'Azienda USL 3 di Pistoia, l'Azienda USL 5 di Pisa, l'Azienda USL 8 di Arezzo e l'Azienda Ospedaliero Universitaria Pisana.

Queste aziende sanitarie furono scelte perchè
  1. rappresentative delle tre aree vaste toscane;
  2. simili in termini di dimensioni e tipologia di servizi offerti;
  3. la Ausl 5 di Pisa e l'AOU Pisana quali realtà rappresentative la prima delle aziende sanitarie che hanno nel proprio territorio la presenza di un'azienda ospedaliero-universitaria, la seconda di un'azienda con una missione diversa dalle aziende sanitarie territoriali, in cui accanto all'assistenza sono obbiettivi strategici anche la ricerca e la didattica.

La sperimentazione attivata nel 2004 nelle prime quattro aziende sanitarie selezionate, inoltre, è stata impostata in modo da garantire la replicabilità successiva del sistema nelle altre realtà aziendali sanitarie toscane che hanno iniziato l'implementazione a conclusione della prima fase di sperimentazione.

L'approccio che ha contraddistinto la metodologia di lavoro adottata è stato multidisciplinare, teso alla valorizzazione di tutti i dati, le informazioni e gli strumenti di valutazione già esistenti ed utilizzati dalla Regione e dalle Aziende coinvolte.

Al termine della fase di sperimentazione nelle quattro aziende pilota, il management delle aziende coinvolte e la Regione stessa hanno ritenuto assai soddisfacenti i risultati ottenuti ed il sistema nel 2005 è stato implementato in tutte le aziende territoriali della Regione.

Per quanto concerne le realtà ospedaliero universitarie è stato ritenuto necessario attivare un processo ulteriore di coinvolgimento dei professionisti medici per valutare l'opportunità di inserire nel sistema elementi di specificità rispetto alla missione di questa tipologia di aziende.

In questo stesso anno il Laboratorio Management e Sanità ha dato, quindi, avvio ad un percorso formativo modulare regionale, in cui sono stati coinvolti i circa cinquanta direttori di dipartimento ad attività integrata delle quattro aziende ospedaliero-universitarie di Pisa, Siena, Firenze (Careggi e Meyer).

Questa iniziativa prevedeva nella prima fase tre momenti di due giornate ciascuno in cui, in due edizioni miste, i direttori DAI hanno approfondito e discusso il processo di evoluzione in atto nel sistema sanitario toscano, la dinamica economico finanziaria e l'assetto organizzativo dipartimentale delle aziende ospedaliero universitarie.

Nella seconda parte del percorso formativo i partecipanti, con il supporto di docenti della facoltà di economia dei tre atenei toscani e della Scuola Superiore Sant'Anna nel ruolo di facilitatori, hanno attivato dei "laboratori", ossia dei gruppi di lavoro che hanno approfondito per specialità tematica degli indicatori di performance, individuando una rosa di indicatori specifici soprattutto per la componente sanitaria.

Questo percorso si è concluso il 3 marzo 2006 con la presentazione pubblica di un rapporto in cui sono stati presentati dai partecipanti stessi gli indicatori individuati e calcolati per le realtà toscane.

Questo rapporto è stato successivamente discusso e approfondito dal gruppo di ricerca del Laboratorio Management e Sanità con le direzioni aziendali di Careggi, Meyer, Pisa e Siena, fino a pervenire ad una sintesi condivisa a livello regionale che ha permesso, nel mese di luglio del 2006, la predisposizione di un primo report pilota per le aziende ospedaliero universitarie.

Nel secondo semestre del 2006 il sistema di valutazione della performance è entrato a regime anche nelle realtà ospedaliero universitarie della Toscana con l'elaborazione di alcuni indicatori specifici quali ad esempio la capacità di produrre ricerca.

Nel mese di aprile del 2007 il report relativo alla performance delle quattro aziende ospedaliero universitarie relativo ai risultati conseguiti nel 2006 è stato consegnato per la prima volta ai rettori dei tre atenei di Pisa, Firenze e Siena.
Inizio pagina

Le finalità e le modalità d'uso


La finalità del sistema di valutazione della performance è stata fin dalla sua progettazione iniziale, quella di fornire un quadro di sintesi dell'andamento della gestione delle aziende sanitarie, utile non solo alla valutazione della performance conseguita, ma anche per la valorizzazione dei risultati ottenuti.

Il sistema progettato ed implementato nelle quattro realtà pilota ha permesso di capire inoltre che lo strumento poteva diventare un mezzo fondamentale per supportare la funzione di governo soprattutto a livello regionale.
Mediante il processo di valutazione della performance si è inteso quindi avviare quello di valorizzazione delle "best practices" delle aziende sanitarie, mediante il quale i managers e le organizzazioni nel loro complesso potessero avere la continua opportunità di apprendere e crescere.

La presentazione dei dati sempre in benchmarking tra le realtà aziendali della Toscana facilita infatti il superamento dell'autoreferenzialità a favore del confronto, inteso come strumento fondamentale per verificare i risultati conseguiti e gli eventuali spazi di miglioramento.

Nel corso della progettazione, sperimentazione ed implementazione, sono stati oggetto di studio e confronto i sistemi di valutazione della performance adottati in altri contesti sanitari pubblici, in particolare il sistema adottato fin dal 1997 in Canada nella regione dell'Ontario per le realtà ospedaliere. Sono stati spunto di riflessione e di analisi anche il sistema implementato nel sistema sanitario inglese ed olandese, nonchè la ricca bibliografia scientifica sul tema della valutazione della performance in sanità.

Il sistema è oggi utilizzato per supportare i processi di pianificazione e programmazione a livello aziendale e regionale ed è collegato al sistema incentivante per la direzione aziendale.
Le aziende del sistema a loro volta hanno collegato lo strumento al loro sistema di budget interno.
Inizio pagina

Il sistema di reporting multidimensionale dei risultati

Nel progetto di prefattibilità il gruppo di ricerca ha elaborato un primo modello (figura 2) capace di descrivere le relazioni di causa ed effetto nel processo di erogazione dei servizi di un'azienda sanitaria.
Il gruppo di ricerca ha inteso evidenziare nel modello sia le tipologie di risultati attesi dalle istituzioni sanitarie, sia le modalità con cui questi vengono operativamente conseguiti.
Nel prospetto proposto, partendo dalla destra dello schema, si evidenziano i risultati "ultimi" ottenuti dall'istituzione sanitaria, ossia gli outcome, che possono essere perseguiti solo in un orizzonte temporale di medio e lungo periodo e si riferiscono alla finalità ultima dell'azienda sanitaria, ovvero il miglioramento del benessere sociale e dello stato di salute della popolazione.
Questa tipologia di risultati, per la complessità dei meccanismi di misurazione da utilizzare e del sistema di fattori che congiuntamente determinano il loro perseguimento, difficilmente si presta ad orientare l'azione del management nel breve periodo anche se permangono il punto di partenza e di arrivo dell'azione delle aziende sanitarie.
Pur se spesso sono necessari anni o decenni per muovere e migliorare un indicatore di outcome, è dall'analisi dello stato di salute della popolazione che parte il processo di programmazione e di orientamento dell'azione delle istituzioni sanitarie e a cui, di nuovo, per valutare l'efficacia di un'azione intrapresa, si deve ricorrere per l'analisi dell'impatto sullo stato di salute della popolazione.
Si pensi, a titolo di esempio, alle attività di screening per il tumore al seno o al colon retto.
Nello schema proposto gli outcome, che comunque sono oggetto di monitoraggio da parte sia dell'agenzia sanitaria regionale che della Direzione Generale regionale stessa, sono preceduti dai risultati di output, che concorrono fortemente a determinarli.
Questi risultati di output sono classificati in quattro ambiti:
  1. la soddisfazione dell'utente e del cittadino per il livello di qualità dei servizi ricevuti, comprensiva della sua possibilità a partecipare attivamente ai processi di erogazione dei servizi come soggetto centrale e protagonista dei percorsi di cura e di assistenza;
  2. la qualità clinica e sanitaria dei servizi erogati;
  3. l'appropriatezza e la continuità di cura nei percorsi assistenziali, come risultati strategici in linea con gli orientamenti del piano sanitario regionale;
  4. la capacità di mantenere condizioni di equilibrio economico finanziario nella gestione del sistema azienda.
Nel modello proposto questi risultati sono raggiungibili con modalità ed azioni assai differenti in base al contesto aziendale specifico. Le determinanti, quindi, necessitano un'analisi specifica per i tre livelli assistenziali presenti nelle Ausl toscane ossia:
  1. Ospedale;
  2. Territorio, comprensivo della medicina e pediatria di base, l'attività diagnostica e ambulatoriale, nonchè di tutti i servizi coordinati dalle zone (Sert, Handicap, salute mentale adulti e infanzia, consultori...);
  3. Prevenzione, comprensiva dei settori di veterinaria, Igiene e salute pubblica, medicina dello sport, medicina del lavoro, medicina legale.
In questi tre contesti, le dimensioni più rilevanti da monitorare nel processo di erogazione del servizio sono molteplici e così sintetizzabili:
  1. l'efficacia strutturale, intesa come livello di adeguatezza della struttura (edifici, attrezzature, spazi, arredi) rispetto alla missione e alla tipologia di servizi che l'istituzione sanitaria è chiamata ad assolvere nell'ambito del sistema sanitario regionale;
  2. l'efficienza operativa, relativa alle modalità con cui le risorse disponibili sono utilizzate; l'attenzione è rivolta all'analisi della produttività del sistema e dei suoi fattori;
  3. l'accesso, inteso come l'insieme delle modalità con cui viene garantito e facilitato l'accesso ai servizi sanitari con logiche di equità e trasparenza;
  4. la sicurezza ed il risk management; intesa come capacità di operare garantendo la sicurezza di tutti i soggetti del sistema, sia gli operatori che gli utenti.
Orientano la fase del processo di erogazione dei servizi sanitari sia il contesto ambientale sia i fattori specifici di input (vedi la parte sinistra dello schema della figura 2). La tipologia di popolazione, la conformazione del territorio, l'evoluzione dei servizi erogati fino ad oggi e gli obiettivi specifici identificati a livello regionale chiaramente influiscono sulle scelte e sulle modalitià adottate da ciascuna azienda per servire il suo territorio. Rispetto alle caratteristiche della popolazione e del territorio ciascuna azienda sanitaria concorda con la regione gli obiettivi strategici da perseguire, alla luce degli orientamenti presenti nel piano sanitario regionale. Oltre quindi agli indicatori di risultato e di processo, il modello prevede la misurazione dell'efficacia strategica, intesa appunto come capacità di pianificare e programmare l'attività in linea con le esigenze del territorio, ossia degli utenti, ma anche la capacità dell'azienda di operare nel contesto del sistema sanitario regionale e di seguire gli orientamenti del Piano sanitario regionale e delle delibere successive di applicazione. Il gruppo di ricerca e l'Assessorato alla salute regionale, pur condividendo la rappresentazione nel modello delle modalità con cui le aziende perseguono i loro risultati e pur volendo mantenere una dimensione aziendale del progetto, hanno concordato di concentrare l'attenzione nel monitoraggio dei risultati (le aree con sottofondo colorato nella figura 2) e su pochi macro indicatori di processo, lasciando alle aziende l'autonomia e la responsabilità di monitorare gli indicatori di processo per livello assistenziale, necessari per comprendere e gestire le determinanti dei risultati stessi.
Fa eccezione, rispetto a questa scelta, la decisione di considerare, nel sistema regionale di misurazione della performance, la valutazione del management, intesa come l'insieme delle scelte e delle politiche adottate dalla direzione per gestire e governare il sistema aziendale ed in particolare le risorse umane. Questa eccezione si fonda sulla considerazione che il management è scelto, nella figura del direttore generale, dall'Assessore regionale per la salute ed il suo operato quindi è da considerare oggetto rilevante in ottica di valutazione regionale.
Per la rappresentazione finale dei risultati del sistema di valutazione della performance sono state individuate sei dimensioni di sintesi, capaci di evidenziare gli aspetti fondamentali della performance in un sistema complesso quale quello sanitario (vedi figura n. 3). Le dimensioni della valutazione sono: Per rappresentare adeguatamente i risultati riportati da ogni azienda in ciascuna delle dimensioni individuate era necessario individuare una modalità semplice e chiara, capace di evidenziare subito lo stato dell'arte della performance dell'azienda analizzata. Particolarmente frequente nella bibliografia e strumentazione manageriale l'utilizzo della metafora della "tela di ragno", ossia di uno schema a più dimensioni in cui i risultati sono posizionati sulla tela e dove maggiore è la vicinanza al centro peggiori sono i risultati.
Il gruppo di ricerca del Laboratorio MeS ha optato per una simbologia che fosse ancora più semplice e che avesse una immediata valenza positiva. E' stato infatti utilizzato lo schema del "bersaglio" con cinque diverse fasce di valutazione suddiviso in sei settori circolari rappresentativi delle sei dimensioni. L'azienda capace di centrare gli obiettivi e di ottenere una buona performance nelle diverse dimensioni avrà i propri risultati riportati vicino al centro del bersaglio in zona verde, mentre i risultati negativi compariranno nelle fasce via via più lontane dal centro.
Le fasce in cui la valutazione è stata espressa sono cinque: Per poter procedere al posizionamento delle misure relative agli indicatori individuati per ogni dimensione oggetto del sistema di valutazione nelle cinque fasce sono stati adottati i seguenti criteri di riferimento:
  1. se esistente, è stato considerato uno standard internazionale riconosciuto (ad esempio: il tasso di cesarei massimo auspicato dall'OMS );
  2. in caso di assenza di uno standard internazionale di riferimento è stato considerato uno standard regionale definito con delibera regionale
  3. in caso di assenza di uno standard regionale di riferimento è stata considerata la media regionale corretta con eventuali fattori di risk adjustment per rendere possibile il confronto tra le aziende .
Ogni azienda, quindi, vede rappresentata sinteticamente la propria performance nel suo bersaglio, in cui vengono riportati i valori di sintesi di circa 50 indicatori selezionati. Alcuni indicatori rappresentano la sintesi di un "albero" di più indicatori. A titolo di esempio la valutazione della soddisfazione della popolazione relativa alla medicina di base è data dalla media della valutazione di vari items su cui è stato richiesto un giudizio all'utenza quali l'organizzazione e i tempi del servizio, la capacità di comunicazione del medico al paziente, la gentilezza e la disponibilità nella relazione, la competenza professionale dimostrata, la capacità di presa in carico e di indirizzo nei percorsi assistenziali, la disponibilità alle visite domiciliari (vedi figura n. 6).
Complessivamente gli indicatori monitorati ogni anno sono circa 130. Il loro numero può variare perchè ogni anno la Regione, in particolare nella dimensione relativa alla capacità di perseguire gli obiettivi strategici, può modificare gli obiettivi stessi e i relativi risultati da monitorare in base alle priorità strategiche dell'anno. Inoltre i risultati possono avere una differente tempistica di misurazione e valutazione in base alla rilevanza e alla possibilità effettiva di modificare in tempi brevi i risultati ottenuti. I tempi di attesa ad esempio sono misurati mensilmente mentre la soddisfazione dei cittadini per i servizi della medicina di base è misurata ogni due anni.
Le dimensioni del sistema di valutazione comprendono indicatori alimentati con dati provenienti dal sistema informativo regionale, dai bilanci aziendali e da indagini sistematiche con significatività statistica, realizzate direttamente dal Laboratorio Management e Sanità per garantire l'omogeneità delle metodologie adottate che risultano essenziali per ottenere dati confrontabili.
Non sempre però i dati disponibili nel sistema informativo regionale o ricavabili mediante le indagini di campo sono stati sufficienti a soddisfare il fabbisogno di controllo, soprattutto nell'ambito della dimensione relativa alla capacità di perseguire gli orientamenti regionali. A tal fine quindi sono stati attivati processi di valutazione ad hoc.
In termini di modalità di uso il bersaglio a livello regionale e per singola azienda è stato fino ad oggi fornito su formato elettronico con modalità che permettono, cliccando su ciascun punto presente sul bersaglio, di visualizzare l'indicatore nel dettaglio con i punteggi a confronto tra le aziende nonchè il dato in trend, la tabella dei dati e la scheda illustrativa delle modalità di calcolo. Nel bersaglio sono indicati i risultati relativi agli ultimi dati disponibili.

I processi di valutazione "ad hoc"

Disporre di un flusso informativo sistematico, certo e attendibile a livello regionale peròaaa richiede molto tempo e un grande sforzo da parte di tutti i soggetti del sistema. Tale investimento, quindi, è da proporre e da realizzare solo per gli aspetti che certamente richiedono attenzione continua nel tempo e in cui il monitoraggio a livello regionale è essenziale per valutare i processi complessivi di miglioramento del sistema sanitario e del livello di salute della popolazione.
Spesso però sia a livello aziendale che regionale può essere estremamente utile e necessario poter disporre di informazioni e dati in tempi rapidi, capaci di segnalare al management l'impatto di alcune decisioni, o la realtà di alcune situazioni in essere nell'organizzazione o nei processi di erogazione di alcuni servizi. Si può trattare di situazioni precise e puntuali ma che sono ritenute critiche e sintomatiche da parte della direzione. In questi casi non appare praticabile l'idea di impostare un sistema di rilevazione sistematico ma può essere opportuno attivare un processo di indagine integrativo al sistema di valutazione sistematico che il team di ricerca ha denominato "valutazione ad hoc".
Si tratta di processi con un orizzonte di analisi molto puntuale e specifico in cui si ricerca una risposta semplice al quesito base, dove il risultato atteso può essere anche di tipo qualitativo, trasformabile successivamente in termini quantitativi, se necessario. I tempi di risposta attesi per questa risposta sono brevi e le modalità con cui si attiva il processo di indagine può essere anche di tipo esterno, ossia senza il coinvolgimento dei soggetti interni coinvolti nel processo di erogazione dei servizi o nello svolgimento delle attività oggetto di analisi. La logica di effettuazione di questi processi di valutazione ad hoc, in linea con l'essere puntuale e specifica, è quella di fornire una fotografia della situazione indagata e non un "film" con un prima, un durante e un post. La misura presenta la situazione del momento così come appare tramite lo strumento di analisi.
Gli indicatori che si possono ricavare da questa tipologia di indagine sono da considerare come "segnali sentinella", utili per attivare eventuali successive indagini di approfondimento se necessarie. In particolare nel contesto della Regione Toscana questa metodologia può essere utile per:
  1. verificare dello stato di attuazione di alcune Delibere Regionali di elevata criticità
  2. verificare la presenza di alcune situazioni di criticità nei processi di erogazione dei servizi, magari in seguito a segnalazioni ricevute da associazioni, cittadini, enti locali;
  3. analizzare lo stato di fatto di un servizio/attività e le differenze tra diverse realtà locali per orientare e supportare il processo di programmazione a livello regionale e aziendale.
Gli strumenti adottabili nei processi di valutazione "ad hoc" sono molteplici. Nel sistema di valutazione della performance delle aziende sanitarie toscane sono stati testati ed utilizzati i seguenti:
  1. i focus group, ossia indagini qualitative con il coinvolgimento di un gruppo di utenti selezionati per discutere su opinioni, valutazioni e percezioni rispetto all'assistenza sanitaria ricevuta;
  2. le osservazioni strutturate: ossia indagini qualitative basate sull'osservazione passiva dello svolgimento di un servizio/attività secondo uno schema determinato, con eventuale ripresa fotografica delle situazioni oggetto di osservazione;
  3. le esperienze di utente simulato, ossia indagini qualitative in cui il ricercatore veste i panni dell'utente testando il servizio oggetto di analisi in forma diretta o telefonica;
  4. le interviste strutturate, ossia indagini qualitative realizzate mediante interviste di profondità all'utente/paziente seguendo una traccia predefinita.
I focus group e gli altri strumenti utilizzati nei processi di valutazione ad hoc hanno permesso di elaborare degli indicatori e di ottenere delle misure. La diversa natura di tali misure è stata segnalata nel sistema di valutazione in modo differente rispetto alle misure elaborate mediante una metodologia sistematica, ovvero con il simbolo di un campanello. Questo segno avverte che la misura ha valore solo segnaletico, che può necessitare di ulteriori e più approfondite indagini.

Inizio pagina
© 2008 Laboratorio Management e Sanità Credits  |  Site Map  |  Contatti   meslab@sssup.it