“Formare continuă în coordonarea şi monitorizarea Fondurilor Structurale şi de Coeziune, precum şi în managementul activităţilor de instruire în acest domeniu”, România Contract nr 16/09.12.2009 Acest proiect este cofinanţat din Fondul European de Dezvoltare Regională prin POAT 2007-2013 MANUAL Componenta 1: Formare în monitorizarea, evaluarea şi managementul Fondurilor Structurale şi de Coeziune pentru persoanele din cadrul Autorităţilor de Management şi Organismelor Intermediare Modulul 1: Instruire în domeniul sistemului de indicatori
Welcome message from author
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
Componenta 3 - Modulul 1
Formare continu n coordonarea i monitorizarea Fondurilor Structurale i de Coeziune, precum i n managementul activitilor de instruire n acest domeniu, RomniaContract nr 16/09.12.2009
Acest proiect este cofinanat din Fondul European de Dezvoltare Regional prin
POAT 2007-2013
MANUALComponenta 1: Formare n monitorizarea, evaluarea i managementul Fondurilor Structurale i de Coeziune pentru persoanele din cadrul Autoritilor de Management i Organismelor Intermediare
Modulul 1: Instruire n domeniul sistemului de indicatori
Proiect implementat de:
CuprinsCapitolul 1 - Indicatorii n contextul programelor operaionale...............................................................5
1.1 Rolul indicatorilor.........................................................................................................................5
1.2 Prevederi regulamentare.............................................................................................................6
1.3 Utilizarea indicatorilor n perioada 2007-2013.............................................................................7
1.4 Indicatorii i logica interveniei.....................................................................................................8
1.5 Legturile indicatorilor cu ciclul de via al programului..............................................................9
1.6 Definirea indicatorilor...................................................................................................................9
1.7 Principii generale n definirea indicatorilor...................................................................................10
Capitolul 2 - Tipologia indicatorilor.............................................................................................................11
2.1 Clasificarea indicatorilor n funcie de logica interveniei.............................................................11
2.1.1 Indicatori de input.....................................................................................................11
2.1.2 Indicatori de output...................................................................................................11
2.1.3 Indicatori de rezultat.................................................................................................12
2.1.4 Indicatori de impact..................................................................................................13
2.1.5 Legtura dintre indicatori..........................................................................................14
2.2 Indicatori de context i de program.............................................................................................15
2.2.1 Indicatori de context.................................................................................................15
2.2.2 Indicatori de program...............................................................................................15
2.3 Tipuri de indicatori n funcie momentul folosirii...........................................................................16
2.3.1 Indicatori de monitorizare.........................................................................................16
2.3.2 Indicatori de evaluare...............................................................................................16
2.4 Indicatorii cheie (core indicators).................................................................................................18
2.4.1 Indicatori cheie specifici unui program.....................................................................19
2.4.2 Indicatori cheie comuni............................................................................................19
2.5 Alte categorii de indicatori...........................................................................................................20
2.5.1 Indicatori de performan.........................................................................................20
2.5.2 Indicatori financiari...................................................................................................20
Capitolul 3 - Sistemul de indicatori.............................................................................................................21
3.1 Abordri conceptuale; Rol...........................................................................................................21
3.2 Rolul SMIS in gestionarea sistemului de indicatori......................................................................22
3.3 Caracteristicile unui sistem de indicatori de calitate....................................................................23
3.4 Funciile sistemului de indicatori..................................................................................................29
3.4.1 Colectarea datelor....................................................................................................29
3.4.2 Prelucrarea datelor...................................................................................................31
3.4.3 Msurarea i analiza indicatorilor.............................................................................31
3.4.4 Monitorizare i comunicare......................................................................................32
3.5 Criterii de analiz a sistemului de indicatori................................................................................32
Capitolul 4 - Utilizarea indicatorilor n procesul monitorizrii i evalurii programelor operaionale..34
4.1 Folosirea indicatorilor n monitorizare..........................................................................................34
4.2 Indicatorii instrument de baz n procesul de evaluare a PO...................................................35
4.2.1 Prevederi regulamentare..........................................................................................36
4.2.2 Planul de evaluare...................................................................................................36
4.2.3 Evaluarea ex-ante....................................................................................................37
4.2.4 Evaluarea pe parcursul implementrii programului operaional...............................37
4.2.5 Evaluarea ex-post....................................................................................................40
Anexe
Anexe 1 - Documentul de Lucru al Comisiei nr. 2 din august 2006.........................................................41
Anexa 2 - Documentul de Lucru al Comisiei nr. 7 din iulie 2009............................................................80
Anexa 3 - Documentul de Lucru al Comisiei nr. 5 din aprilie 2007..........................................................95
Abrevieri folosite
CNSRCadrul Naional Strategic de Referin
ACISAutoritatea de Coordonare a Instrumentelor Structurale
ACPAutoritatea pentru Certificare i Plat
AMAutoritate de Management
OIOrganism Intermediar
ACPAutoritate de Certificare i Plat
AAAutoritatea de Audit
POProgram Operaional
DCIDocument Cadru de Implementare
DL 2Documentul de Lucru al Comisiei Europene nr. 2
DL 5Documentul de Lucru al Comisiei Europene nr. 5
DL 7Documentul de Lucru al Comisiei Europene nr. 7
POSDRUProgramul Operaional Dezvoltarea Resurselor Umane
PORProgramul Operaional Regional
POS MProgramul Operaional Sectorial Mediu
POS TProgramul Operaional Sectorial Transport
POSCCEProgramul Operaional Sectorial Creterea Competitivitii Economice
PODCAProgramul Operaional Dezvoltarea Capacitii Administrative
POATProgramul Operaional de Asisten Tehnic
AP Ax Prioritar
DMIDomeniu Major de Intervenie
ISInstrumente Structurale
FSFonduri Structurale
FEDRFondul European pentru Dezvoltare Regional
FSEFondul Social European
FCFondul de Coeziune
CEComisia European
UEUniunea European
SMStat Membru
RAIRaport Anual de Implementare
RTFRaport Tehnico Financiar
SMISSistemul Unic de Management al Informaiei
UCEUnitatea Central de Evaluare din cadrul ACIS
1 Capitolul 1 - Indicatorii n contextul programelor operaionale
1.1 Rolul indicatorilor
Dicionarul Economic i Financiar definete indicatorul, ca fiind expresia numeric ce caracterizeaz din punct de vedere cantitativ, un fenomen sau un proces economic, social, financiar, bancar etc. sau i definete evoluia n funcie de condiiile concrete de loc i timp i legatura reciproc cu alte fenomene. Referindu-se la un fenomen sau proces social-economic concret, orice indicator are ca trastur esenial un coninut real. Un indicator este fie rezultatul numeric al unei numrri sau msurri n domeniul vieii social-economice, fie al unei prelucrri economico-statistice a datelor rezultate dintr-o astfel de numrare sau msurare.n acest manual vom aborda indicatorii prin prisma rolului lor n msurarea succesului n plan economic i social a programelor i aciunilor implicate de aplicarea politicii de Coeziune a Uniunii Europene n Statele Membre.Monitorizarea i evaluarea utilizrii instrumentelor structurale reprezint o cerin esenial n mecanismul implementrii obiectivelor politicii de Coeziune.
n procesul de programare la nivelul politicii de Coeziune, indicatorii sunt instrumente utile pentru a verifica fezabilitatea, coerena i impactul interveniilor planificate prin intermediul documentelor programatice.
Scopul este de a stabili eficiena punerii n aplicare i a resurselor utilizate, prin intermediul indicatorilor definii la un nivel adecvat.n faza de implementare, un sistem de indicatori corect stabilit este fundamentul pentru o monitorizare i evaluare adecvate a realizrilor i ofer o orientare clar pentru solicitanii de finanri, despre ceea ce i propune programul s realizeze i despre rezultatele pe care trebuie s le produc proiectele, pentru a contribui la ndeplinirea obiectivelor programului.
Indicatorii ridic o serie de probleme practice, cum ar fi coerena definiiilor utilizate i cuantificarea obiectivelor programului.
Comisia European a elaborat un ghid practic/ndrumar metodologic care s poat fi utilizat n crearea sistemului de indicatori, ca instrument de management i monitorizare, de ctre instituiile implicate n managementul i implementarea programelor operaionale finanate din instrumentele politicii de Coeziune.Ghidul menionat este cunoscut sub denumirea de Documentul de Lucru nr. 2 al Comisiei Europene (Indicatorii de monitorizare i evaluare) anexa nr. 1 la acest Manual.Conform Documentului de Lucru nr. 2, un indicator este definit ca msura unui obiectiv de atins, o resurs mobilizat/angajat, un efect obinut, un etalon al calitii sau o variabil de context. Un indicator corect definit trebuie s fie alctuit dintr-o definiie, o valoare i o unitate de msur.
Indicatorii pot fi privii ca parametrii care definesc performanele standard stabilite pentru atingerea obiectivelor. Acetia descriu n termeni operaionali msurabili (cantitate, calitate, timp) obiectivele proiectului sau ale operaiunii, ale domeniului major de intervenie, ale axei prioritare sau ale Programului Operaional.
Cuantificarea se axeaz pe definirea indicatorilor adecvai i msurabili i vizeaz ntr-un mod interactiv specificarea clar i realist a unor obiective i intervenii. Sistemul de indicatori este un element integrant al programrii ce deservete tuturor prilor implicate.
Conform Documentului elaborat de Comisie, indicatorii sprijin Statele Membre i Comisia n implementarea unui sistem de management public orientat spre rezultate.
Indicatorii se aplic la toate formele de asisten structural: CNSR, PO. Pentru a asigura o monitorizare eficient a acestor forme de asisten, trebuie acordat o atenie deosebit celui mai sczut nivel operaional (DMI/operaiune sau proiect).1.2 Prevederi regulamentare referitoare la indicatoriPrincipalele prevederi referitoare la indicatorii de monitorizare i evaluare sunt prevzute n articolul 37 din Regulamentul (CE) nr. 1083/2006 al Consiliului. Astfel, la alineatul 1, litera (c) a acestui articol, se menioneaz:
Programele operaionale privind obiectivele de convergen i de competitivitate regional i ocuparea forei de munc conin: ........................................................(c) informaii privind axele prioritare i obiectivele specifice ale acestora. Aceste obiective se cuantific cu ajutorul unui numr limitat de indicatori de realizare i de rezultat, innd seama de principiul proporionalitii. Indicatorii respectivi trebuie s permit msurarea progreselor n raport cu situaia iniial i realizarea obiectivelor axelor prioritare.Descrierea acestora trebuie s ndeplineasc cerinele din Regulamentul de implementare Regulamentul Comisiei (CE) nr. 1828/2006, din anexa XVIII pentru FEDR i FC i din anexa XVIII i anexa XXII pentru FSE.
Alte meniuni referitoare la indicatori se gsesc n Regulamanetul 1083/2006, n articolul 66 (2. Autoritatea de gestionare i comitetul de supraveghere asigur supravegherea prin intermediul indicatorilor financiari i a celor menionai la articolul 37 alineatul (1) litera (c) definii n programul operaional) i n articolul 67 (2. Rapoartele menionate la alineatul (1) conin urmtoarele elemente, care permit nelegerea clar a punerii n aplicare a programului operaional: (a) progresele efectuate n punerea n aplicare a programului operaional i a axelor prioritare n raport cu obiectivele lor specifice verificabile, efectund, dup caz, o cuantificare, utilizndu-se indicatorii menionai la articolul 37 alineatul (1) litera (c) la nivelul axei prioritare; (b) ii. evidena cheltuielilor totale primite de Comisie i evaluarea n cifre a indicatorilor financiari menionai la articolul 66 alineatul (2)...).Aplicarea principiului proporionalitii n cazul indicatorilor reiese din articolul 13 din Regulament, la care se precizeaz c: (1) Resursele financiare i administrative utilizate de Comisie i Statele Membre pentru aplicarea fondurilor n ceea ce privete: (a) alegerea indicatorilor prevzui la articolul 37 alineatul (1) litera (c)......... sunt proporionale cu suma total a cheltuielilor aferente unui program operaional.
1.3 Utilizarea indicatorilor n perioada de programare 2007-2013
Utilizarea indicatorilor de monitorizare i evaluare n cadrul programelor finanate din Fondurile Structurale a prins contur la mijlocul anilor 1990 i a cunoscut un progres semnificativ n perioad de programare 2000- 2006, cnd sistemele de indicatori au fost mai performante, contribuind la un management al programului mult mai eficient, chiar dac unele s-au dovedit a fi mai complexe dect ar fi dictat nevoile utilizatorilor.
Pentru perioada de programare 2007-2013 s-a conturat nevoia de mbuntire a unor indicatori i a modului de utilizare a acestora n monitorizare, aa nct s rezulte nite sisteme de indicatori cu o orientare clar printre utilizatori la niveluri diferite, eliminnd surplusul neutilizat i acordnd importana evalurii acestora.
Astfel n Documentul de Lucru nr. 2 se scoate n eviden caracterul mai strategic al parteneriatului dintre Statele Membre i Comisia European n actuala perioada de progrmare: Acest lucru nseamn c Programele Fondurilor Structurale fixeaz numai obiective globale pe termen mai lung programele i prioritile acestora care n consecin sunt transformate de ctre Statele Membre n obiective mult mai operaionale i pe termen mai scurt care in cont de un mediu socio-economic aflat n continu schimbare. Experiena rezultat din generaia 2000-2006 a Fondurilor Structurale dovedete c n special o mai mare calitate n cuantificarea i msurarea indicatorilor de rezultat reprezint o condiie sine qua non pentru acest obiectiv.
Caracterul strategic al actualei perioade de programare rezult i din faptul c sistemele de indicatori trebuie s reflecte i legatura cu intele unor documente strategice de programare la nivel european, cum ar fi Strategia Lisabona (de exemplu efectul earmarking).
De asemenea, n actuala perioad, ca urmare a lipsei unor indicatori de comparaie, o conotaie deosebit au cptat i indicatorii cheie (core indicators) care genereaz mai mult informaie comparabil la nivelul programelor.
Prin utilizarea acestor indicatori, se pot agrega informaii pentru a putea demonstra felul n care se folosesc resursele Politicii de Coeziune i rezultatele obinute prin acestea.
Pentru a obine o abordare unitar din partea Statelor Membre Comisia European a creat alturi de Documentul de Lucru nr. 2, un alt ghid metodologic, respectiv, Documentul de Lucru nr. 7 al CE din iulie 2009 (Raportare cu privire la indicatorii cheie utilizai pentru FEDR i FC) anexa nr. 2 la acest Manual.
Acest document a fost realizat pentru a oferi ndrumare practic Autoritilor de Management cu privire la raportarea indicatorilor cheie cu ajutorul sistemului electronic de schimb de date, elaborat de ctre Comisie n conformitate cu prevederile Articolului 39 al Regulamentului de Implementare (SFC2007).Acest Document se aplic n cazul Fondului European de Dezvoltare Regional i Fondului de Coeziune.Sistemul electronic utilizat pentru transferul datelor ntre Statele Membre i Comisie se numete SFC2007.
SFC2007 (Sistemul pentru Managementul Fondurilor n Comunitatea European, 2007-2013) este un sistem de informare al Comisiei Europene, care sprijin adaptarea la normele UE, stabilite n domeniul fondurilor. SFC2007 este compus din Sistemul de informaii i Sistemul de management financiar.
Statele Membre i Comisia utilizeaza Sistemul de informaii pentru comunicare i schimbul de documente (n condiii de siguran) pentru punerea n aplicare a prevederilor privind asistena nerambursabil.
SFC2007 este interconectat cu sistemul de monitorizare naional al Fondurilor Structurale i de Coeziune, dezvoltat n cadrul Autoritii pentru Coordonarea Instrumentelor Structurale.
1.4 Indicatorii i logica interveniei
Un sistem de indicatori este legat n mod inevitabil de logica de programare. Indicatorii sunt legai de ierarhia de obiective n cadrul programelor operaionale, dar i din cadrul CNSR.
n schema urmtoare este evideniat logica de intervenie:
Sursa : Documentul de lucru nr. 2 al CE
Procesul de intervenie logic explic modul n care o intervenie va contribui la realizarea diferitelor niveluri de obiective ale unei politici: obiective operaionale, obiective specifice i obiective globale. Folosind resurse (input-uri): bani, personal, etc. se pot executa operaiuni/activiti dintr-un program. Cheltuielile efective dau natere la o serie de rezultate fizice/output-uri (produse sau servicii), care demonstreaz progresul punerii n aplicare a operaiunilor. Ca urmare, prin implementarea operaiunilor dintr-un program se pot atinge obiectivele operaionale, obiective ce pot fi msurate ca output-uri (livrabile). Aceste output-uri vor produce efecte imediate asupra utilizatorilor/beneficiarilor, concretizate n rezultate, care la rndul lor vor reflecta modul de ndeplinire a obiectivelor specifice. Acest lucru va contribui n timp (ca efect ulterior/pe termen lung) la ndeplinirea obiectivelor generale ale programului, msurate prin impact. Impacturile sunt elementele principale pentru evaluarea succesului sau eecului asistenei financiare n cauz.
Ca urmare, dac la nivelul axelor prioritare i al domeniilor majore de intervenie vorbim cu precdere de indicatori de output (realizri imediate) i de rezultat, la nivelul programului operaional i al CNSR vom avea cu precdere indicatori de impact.
1.5 Legtura indicatorilor cu ciclul de via al programului
Indicatorii sunt deja definii n timpul programrii (n procesul evalurii ex-ante), dar este adesea nevoie s fie precizai mai n detaliu n timpul implementrii, o dat ce informaiile adiionale sunt disponibile i nevoia de monitorizare devine o necesitate. n definirea lor trebuie acordat o mare atenie, pentru a se asigura c indicatorii pentru scopul operaiunii centrul de gravitate al operaiunii ncorporeaz n practic noiunea de beneficii susinute pentru grupurile int. Modul de utilizare a indicatorilor n faza de implementare a programului este diferit n funcie de diferitele etape ale acestui proces. Astfel, n perioada de nceput a implementrii (n etapa de lansare a apelurilor de proiecte, selecie i contractare) accentul va fi pus pe indicatorii cantitativi de input; mai trziu, cnd ncepe implementarea efectiv a proiectelor, indicatorii de output i de rezultat au rolul esenial, urmnd ca n final, indicatorii de impact s prevaleze n importan.
Indicatorii sunt utilizai i n fazele de evaluare din ciclul de via al programului (evaluarea n timpul implementrii/on going i evaluarea ex-post), cnd se urmrete pe de o parte progresul lor, iar pe de alt parte, servesc la analiza succesului programului (a gradului de obinere a impactului dorit).
Cu toate c folosirea diferitelor tipuri de indicatori variaz pe parcursul ciclului de via al programului, sistemul de indicatori trebuie construit de aa natur nct s acopere toate nevoile pe durata programului, fr a fi supus unor revizuiri permanente.
1.6 Definirea indicatorilor
De vreme ce indicatorii sunt un instrument util nu numai pentru a monitoriza, ci i, de asemenea, pentru a verifica coerena programului, indicatorii ar trebui s fie stabilii de ndat ce obiectivele i prioritile programului au fost definite. Dup punerea de acord cu privire la aceste prioriti i obiective, se poate porni spre elaborarea de indicatori.
Indicatorii reprezint un instrument bun de control pentru verificarea coerenei programului i permit de asemena o ajustare a potenialelor obiective sau activiti. Atunci cnd indicatorii sunt formulai pe masur ce programul se execut, este mult mai dificil s ofere orientri clare pentru solicitanii de finanare. Solicitanii proiectului ar putea fi bulversai de diferii indicatori sau ar putea formula ei nii indicatori care nu s-ar potrivi obiectivelor programului. De asemenea, monitorizarea ar fi mai dificil. Prin urmare, logic, definirea indicatorilor trebuie realizat direct dup stabilirea obiectivelor programului.Indicatorii pot fi cantitativi sau calitativi. Indiferent de tipul lor ns, n ncercarea de a-i cuantifica, va fi important s se ofere informaii clare.
Indicatorii pot fi definii de ctre personalul care este responsabil pentru elaborarea programului (implicat n programare) sau de ctre experi externi. Personalul implicat n gestionarea CNSR i PO ar putea defini un prim set de indicatori de impact i de rezultat la nivelul programului i al axelor prioritare, urmnd ca ceilali s poata fi definii cu sprijinul asistenei tehnice.
n definirea indicatorilor vor fi ns implicate mai multe entiti care au responsabiliti n managementul i implementarea PO. Definirea complet a unui indicator presupune formularea unei definiii, a unei valori, a unei uniti de msur i a sursei de verificare.
1.7 Principii generale n definirea indicatorilorIndicatorii reprezint instrumente de msur care fac posibil cuantificarea, n termeni SMART a nivelului atins de obiectivele propuse prin program, ca urmare a implementrii acestora. Definirea i utilizarea indicatorilor permit controlul viabilitii obiectivelor i formeaz baza sistemului de monitorizare a programului.
Definirea indicatorilor, n termeni SMART, nseamn c acetia trebuie s fie:
(S) Specifici: furnizeaz informaii despre caracteristicile specifice unui anumit obiectiv; astfel, indicatorii ar trebui s fie suficient de precii i concrei, pentru a se evita diferitele interpretri; (M) Msurabili: indicatorul trebuie s se refere la o stare viitoare dorit (n comparaie cu situaia iniial), pentru ca mai trziu s se poat observa dac statusul a fost ndeplinit/atins. n plus, indicatorul ar trebui s conin cuantificarea, care permite o msurare (s prezinte aspecte cantitative i calitative ale unui obiectiv care pot fi msurate cu unitile de msur cunoscute);
(A) Accesibili: accesibil n sensul diponibilitii: Ar trebui s fie posibil s se obin date/uor de obinut la un cost acceptabil, pentru a fi folosii la verificarea stadiului atingerii unui obiectiv;
(R) Relevani: sunt semnificativi pentru obiectivul msurat n contextul proiectului sau programului; ei trebuie s fie legai n mod clar de obiectiv; (T) ncadrai ntr-o perioad de Timp: fac referire la un anumit interval de timp, bine precizat, privind stadiul atingerii obiectivului pe care l verific.
Adesea este necesar s se identifice mai muli indicatori pentru un anumit obiectiv. Acetia pot furniza, mpreun, informaii mai complete referitoare la stadiul de ndeplinire al obiectivului.
Indicatorii sunt o simplificare a realitii complexe. Prin definiie, un indicator ofer doar o imagine parial i specific a unui anumit aspect, dar esenial al performanei programului. Prin urmare, indicatorii ntotdeauna trebuie s fie completai i cu o analiz de factori calitativi i cu o interpretare a datelor produse.2 Capitolul 2 - Tipologia indicatorilor
2.1 Clasificarea indicatorilor n funcie de logica interveniei
n literatura de specialitate exist inventariate o mutitudine de tipuri de indicatori, clasificai dup diferite criterii. n cele ce urmeaz vor fi evideniate principalele tipuri de indicatori, cu o utilizare frecvent n procesul gestionrii programelor operaionale.Avnd n vedere legatura cu intervenia logic din procesul de programare, n metodologia UE, cea mai utilizat abordare departajeaz indicatorii n urmtoarele tipuri:
indicatori de input
indicatori de output
indicatori de rezultat
indicatori de impact2.1.1 Indicatori de inputIndicatorii de input arat ce mijloace financiare, umane, materiale, de organizare sau de reglementare sunt disponibile pentru punerea n aplicare a programului. Aceti indicatori sunt utilizai pentru monitorizarea programului. n cazul CNSR sau al unui PO, bugetul este singura resurs care poate fi specificat. Indicatorul aferent este simplu: n cele mai multe cazuri milioane de euro.Exemplu de indicator de input: milioane de Euro din FEDR disponibile pentru operaiunea X. Un alt indicator de input care se monitorizeaz frecvent se refer la numrul de proiecte aprobate/contractate.2.1.2 Indicatori de output
Indicatorii de output arat ce produce/livreaz programul (msurnd rezultatele fizice ale unui program). Indicatorii de output (de rezultate imediate) sunt derivai din obiectivele operaionale ale programului. Obiectivele operaionale sunt definite ca realizri imediate obinute dup finalizarea operaiunilor. Output-ul este cel mai frecvent exprimat n uniti fizice, dar poate fi exprimat i n uniti monetare. ntr-un program, indicatorii de output sunt formulai la nivel de operaiune, deoarece la acest nivel sunt definite activiti clare i obiective operaionale. Output-ul unei activiti reprezint starea final a livrabilelor dup implementarea activitii.
Conform Documentului de Lucru nr. 2 al CE, indicatorii de output sunt indicatorii ce msoar produsul/rezultatul fizic direct al unei operaiuni/activiti.
Exemple de indicatori de output:
km de drum construit
mp de cldire reabilitai
numr de coli modernizate
numr de servicii nfiinate
numr de companii sprijinte din punct de vedere financiar
numr de participani la instruire
numr de structuri dezvoltate de sprijinire a afacerilor
numr depozite deeuri neconforme nchise
Este important s se pstreze setul de indicatori de output limitat la acele rezultate care reprezint elementele cheie a obiectivelor operaionale ale unei operaiuni. n cele mai multe cazuri acestea sunt activiti, care necesit cea mai mare parte a bugetului.2.1.3 Indicatori de rezultat (result)
Conform Documentului de Lucru nr. 2 al CE, indicatori de rezultat (result) sunt cei care permit msurarea rezultatelor directe i imediate, practic a efectelor obinute prin implementarea unui proiect/program, asupra beneficiarilor/grupului int i pot fi de natur fizic i financiar.
Indicatorii de rezultat la nivelul unui PO evideniaz beneficiile imediate ale programului pentru beneficiarii (sau utilizatorii finali) i sunt derivai din obiectivele specifice ale axei prioritare. Indicatorii de rezultat reprezint scopul axei prioritii sau DMI-ului. Obiectivele specifice au n vedere efectele pentru beneficiarii sau utilizatorii finali ale livrabilelor cu care se finalizeaz operaiunile. Practic, reprezint un rezultat direct al output-urilor livrate. Un exemplu clasic ar putea clarifica diferena dintre output i rezultat: n cazul n care obiectivul specific este mbuntirea accesului ntr-o zon, indicatorul de output ar putea fi "km de drum construit" spre acea zona, iar indicator de rezultat ar putea fi "minute economisite de timp pentru a ajunge la acea zon. Aceasta din urm este ceea ce conteaz cu adevrat pentru beneficiarii sau utilizatorii finali. Acesta este un rezultat imediat al output-ului obinut. Deci, indicatorii de rezultat sunt n mod evident legai de cei de output, ntrucat fr output-uri ("km de drum"), nu se pot produce efecte (economie de timp) pentru beneficiari/utilizatori.De multe ori, acetia furnizeaz i informaii asupra schimbrilor, de exemplu, comportamentul, capacitatea sau performana beneficiarilor (exemplu: calificarea ntr-o nou meserie).
Indicatorii de rezultat pot fi exprimai n forma fizica (numrul cursanilor formai cu succes) sau financiar (descreterea costurilor de transport).
Exemple de indicatori de rezultat: numr redus de accidente
timp economisit la deplasare
numrul companiilor atractive
numrul persoanelor certificate
economii de costuri
numr de locuri de munc nou create
cheltuieli publice n proiecte de CDI asistate
populaie care beneficiaz de msuri privind managementul deeurilor
persoane (%) care beneficiaz de infrastructura reabilitatPractic, indicatorii la nivel de rezultate, aa cum rezult i din exemplele de mai sus, nu ar trebui s fie un sumar a ceea ce a fost stabilit la nivelul de activitate, dar ar trebui s descrie consecinele. Adesea este necesar sa stabilim mai muli indicatori pentru un singur obiectiv. mpreun, acetia vor furniza informaii solide n realizarea obiectivelor. n acelai timp, ar trebui evitat capcana de a include prea multi indicatori.
2.1.4 Indicatorii de impact
Indicatorii de impact cuantifica obiectivele globale ale unui program. "Obiective globale", sunt obiectivele care descriu de ce un program este important pentru actorii implicai: beneficiari, comunitate, societate, regiune, ar, guvern, etc. Aceste obiective globale sunt legate de nevoile sau problemele acestor actori. Aceste obiective reflect adesea politica guvernului sau a finanatorului, i, ca atare justific angajamentul lor pentru program.
De exemplu: n cazul n care, cu sprijinul unui program un drum este construit (output) i ca urmare a acestui drum noii beneficiari economisesc timpul de cltorie, impactul acestui lucru ar putea fi o cretere a investiiilor n zona, msurat prin creterea produsului brut la nivel de regiune.
Indicatorii de impact sunt destul de uor de formulat, n baza obiectivelor globale, dar dintr-o serie de motive sunt dificil de msurat. n general, impactul nu se manifest imediat (fiind un efect pe termen lung), deci adesea nu este posibil msurarea impactului n perioada n care se desfoara programul. Impactul unui program se va manifesta la ceva timp dup ce programul a fost implementat. La nivel de proiect sau de operaiune, contribuia la un obiectiv general (de impact, cum ar fi PIB-ul), poate fi mic (n funcie de mrimea operaiunii sau a proiectului) i dificil de demonstrat, deoarece, n cele mai multe cazuri nu este singurul factor care influeneaz variabila (PIB, ocuparea forei de munc, etc.), la care se refer un indicator de impact. De exemplu, creterea viitoare a economiei mondiale va avea, n multe ri o influen mai mare asupra PIB-ului dect implementarea unui proiect/program. Deci, impactul programului trebuie s fie separat de aceste influene de alt tip.
Exemple de indicatori de impact: % de cretere a produciei n domeniul/sectorul X
% crescut de persoane angajate
% scdere a fenomenului emigrationist
Conform Documentului de Lucru nr. 2 al CE, indicatorii de impact sunt indicatorii care se refer la consecinele programului dincolo de efectele sale imediate. Acest document definete dou concepte pentru impact: impactul specific i impactul global.
Conform precizrilor, Impacturile specifice sunt acele efecte ce se produc dup o anumit perioad de timp scurs, dar care sunt, n orice caz, direct legate de aciunea produs i de beneficiarii direci (exemplu: fluxurile de trafic dup modernizarea/reabilitarea unui drum) n timp ce Impacturile globale sunt efecte pe termen lung care afecteaz o populaie mai larg (exemplu: PIB crescut /capita n zona n care s-au reabilitat drumurile).
Avnd n vedere meniunile anterioare, este clar c impacturile globale sunt cel mai dificil de msurat i demonstrat, atta vreme ct o mulime de elemente din mediul socio-economic interfereaz i i pun amprenta asupra tuturor activitilor.Indicatorii de impact joac un rol esenial n diferite etape ale ciclului de via ale programului; astfel, n etapa de programare, cuantificarea ex-ante a impactelor reprezint un instrument pentru orientarea strategic a unui program, n timp ce n faza de evaluare, numai impacturile ex-post ale unui program permit o judecat final asupra succesului sau eecului unui program.
2.1.5 Legturile dintre indicatori
Din exemplele utilizate anterior a devenit deja clar c diferitele categorii de indicatori sunt n corelaie cu logica de intervenie ale programului. Obiectivele operaionale (msurate prin output) conduc la obiectivele specifice (rezultatele), care contribuie la obiectivele generale (care vizeaz impactul). n definirea indicatorilor este important a se verifica dac sistemul de indicatori reflect cu adevrat logica de intervenie a programului. n acest fel se face, de asemenea, o verificare a coerenei interne a interveniei logice a programului n sine.Obiectivul fundamental al asistenei Instrumentelor Structurale este un anumit impact msurat att ct este posibil prin indicatorii de impact, care s reflecte schimbrile produse n nivelul de dezoltare al regiunilor i n viaa oamenilor.
Deciziile strategice la nivel de program (revizuirile) ar trebui s se bazeze pe acest tip de indicatori; dificultatea utilizrii lor rezult din faptul, menionat anterior, c ei reprezint efecte pe termen lung ale interveniilor i ca urmare sunt disponibili doar dup o perioad de timp. n acelai timp, indicatorii de output furnizeaz numai informaii despre efectele fizice i nu despre cele socio-economice ale unei intervenii. n aceast situaie, indicatorii de rezultat capat o importan deosebit n procesul decizional, pe parcursul implementrii programului.
Ca urmare, Comisia European, conform precizrilor din Documentul de Lucru nr. 2, dorete s ncurajeze Statele Membre s-i concentreze eforturile pe mbuntirea indicatorilor de rezultat n special a acelora ce vor fi utilizai pentru a defini obiectivele fiecrei prioriti.n consecin, indicatorii de rezultat pot fi considerai indicatori eseniali n managementul programelor operaionale.
2.2 Indicatori de context i de program
O alt clasificare departajeaz indicatorii n dou categorii: indicatori de context i indicatori de program.
2.2.1 Indicatorii de contextIndicatorii de context furnizeaz informaii cuantificate asupra situaiei de mediu i socio-economice i pot exprima nevoile identificate n termeni cantitativi. n anumite situaii, ei pot sta la baza justificrii necesitii interveniei.Indicatorii de context trebuie s furnizeze informaii generale cu privire la situaia zonei/regiunii/rii n care se implementeaz proiectul/programul (cum ar fi: populaie, km ptrai, PIB, rata de ocupare, rata omajului, etc).
O schimbare a indicatorilor de context poate influena intele avute n vedere de un program. Dac, de exemplu, PIB-ul descrete n mod rapid i neateptat (efectul unei crize galopante), ansa ca un program, care n acea perioad vizeaz creterea veniturilor, s-i ndeplineasc inta este sczut, dac nu imposibil.
Indicatorii de context trebuie s fie actualizai n rapoarte anuale i utilizai atunci cnd este evaluat strategia programului. Acetia reprezint mijloace de a ndeplini raportarea sistematic i analiza pe parcursul derulrii programului.
Deoarece aceti indicatori reflect un context existent, care nu depinde n mod direct de program, documentele de programare nu pot include inte cuantificabile pentru acest tip de indicator.
n general, indicatorii de context provin din surse statistice oficiale regionale, naionale sau internaionale.
Dac acestea lipsesc sau sunt insuficiente, atunci se impune a fi gsite sau create surse alternative: studii, sondaje, sau alte tehnici de colectare i interpretare a datelor.2.2.2 Indicatorii de program
Spre deosebire de indicatorii de context, cei de program sunt legai de efectele interveniei. Ei se refer la activitile programului i msoar efectele implementrii acestuia.
La nivelul unui program sunt definii indicatori de output, indicatori de rezultat i de impact, care trebuie s probeze ndeplinirea obiectivelor operaionale, specifice i globale.
n stabilirea indicatorilor la nivelul programului i al axelor prioritare trebuie s se aib n vedere i obiectivele definite n Cadrul Strategic Naional de Referin, la care programele trebuie s contribuie.
n acelai timp ns, indicatorii de program sunt direct legai de indicatorii de proiect (care reprezint baza pentru agregarea indicatorilor la nivel de program).
Indicatorii de proiect
Indicatorii de proiect sunt indicatori de output, de rezultat i impact, care dovedesc ndeplinirea obiectivelor proiectului. Aceti indicatori trebuie s fie conectai cu indicatorii de program, pentru a demonstra contribuia proiectului la ndeplinirea obiectivelor programului i n felul acesta relevana fa de finanator.
Dac indicatorii de proiect nu contribuie la indicatorii de program, intele acestuia nu vor fi ndeplinite i ca urmare asistena financiar, neproducnd efecte, nu se justific.
Ca urmare, pentru a crea premisele contribuiei corecte a proiectelor la obiectivele programului, la nivelul programului trebuie s existe o lista clar i complet a tuturor indicatorilor de msurare a ndeplinirii obiectivelor, care s orienteze iniiatorii de proiecte.
2.3 Tipuri de indicatori n funcie de momentul folosiriin funcie de momentul i modul n care sunt folosii, putem vorbi de indicatori de monitorizare i indicatori de evaluare.
2.3.1 Indicatorii de monitorizare
Indicatorii de monitorizare sunt folosii de Autoritatea de Management i de Organismele Intermediare pentru a msura progresul n domeniul managementului de program. Nu coninutul obiectivelor este msurat, ci mai degrab modul de organizare a programului. Indicatorii sunt de exemplu: numrul de proiecte aprobate, numrul ntlnirilor de informare, bugetul cheltuit dup 1 an, etc. n general se monitorizeaz valori pentru output-uri i cu un efort deosebit, indicatori de rezultat.
Iniiatorii programului pot hotri pn la ce nivel de detaliu s fie monitorizat programul.
2.3.2 Indicatorii de evaluare
Indicatorii de evaluare nu sunt definii separat ca indicatori.
Evaluarea implic informaii din monitorizare i alte surse pentru a aprecia efectele interveniilor. Evaluatorii utilizeaz n general att indicatorii de rezultat, ct i de output, dar n special indicatorii de impact.n timpul evalurii ex-ante va fi investigat formularea indicatorilor de output, rezultat i impact: sunt indicatorii bine conectai cu obiectivele? Sunt bine cuantificai (realist?).
n evaluarea ongoing (pe parcursul implementarii programului) i n cea ex-post va fi msurat progresul i succesul indicatorilor de output, rezultat i impact. i-au atins inta aceti indicatori? S-a produs impactul/schimbarea ateptat? Alturi de aceste elemente, se verific utilitatea indicatorilor de monitorizare.
n timpul evalurii sunt apreciate relevana, eficacitatea, eficiena, impactul/utilitatea i sustenabilitatea programului, acestea fiind i cele 5 criterii de baz folosite n procesul de evaluare.
Legtura dintre aceste criterii i elementele programului sunt redate n schema urmtoare:
Relevana presupune evaluarea legturilor ntre obiectivele definite i problemele socio-economice existente care pot fi rezolvate printr-o intervenie.
Eficacitatea are n vedere ce s-a realizat din ceea ce era planificat iniial, comparnd situaia actual cu rezultatele, realizrile i impactul estimate.
Eficiena se refer la raportul ntre realizri imediate/outputs, rezultate i impact i resursele utilizate pentru a le obine.
Impactul se refer la efectul de ansamblu al beneficiilor aduse de un anumit program, asupra unui numr mai mare de persoane dect principalii beneficiari dintr-un anumit sector, o anumit regiune sau chiar din ntreaga ar, justificnd utilitatea programului.Utilitatea verific dac impactul obinut printr-o intervenie corespunde cu nevoile societaii si cu problemele socio- economice care trebuie rezolvate.
Sustenabilitatea evalueaz abilitatea ca efectele programului s dureze pe termen mediu i lung dup ce finanarea unei intervenii s-a ncheiat.
Principalele ntrebri utilizate n procesul de evaluare sunt:
Relevana: n ce msur obiectivele programului sunt relevante vis--vis de nevoile i prioritile la nivel naional (prevzute n CNSR) i la nivelul UE (n Liniile/orientrile Strategice Comunitare)?
Eficacitatea: ct de realist este programul n atingerea obiectivului global i a celor specifice pn n 2013 sau mai devreme?
Eficiena: ct de bine sunt alocate resursele (input-uri) din punct de vedere al output-urilor i rezultatelor?
Impactul/Utilitatea: sunt efectele prevzute realiste i satisfctoare n contextul nevoilor sociale, economice i de mediu existente?
Sustenabilitatea: rezultatele obinute prin implementarea programului vor fi meninute dup implementarea programului, fr finanare suplimentar?
Consisten i coeren: sunt obiectivele i prioritile propuse corelate logic cu analiza socio-economic, sunt consistente i n linie cu obiectivele politice i interveniile naionale i comunitare (de ex. Strategia Lisabona)?
Management i monitorizare: cum pot acestea determina atingerea obiectivului programului i s contribuie la obinerea unor impacturi pozitive?
2.4 Indicatorii cheie (core indicators)
Indicatorii cheie sunt un set de indicatori comuni pe care Comisia sugereaz Statele Membre s-i foloseasc pentru programele finanate de FEDR i Fondul de Coeziune.Indicatorii cheie urmresc compararea performanelor programelor. Acetia pot fi indicatori strategici, care reflecta interesul larg al comunitii (cum ar fi ocuparea, prioritile orizontale), dar n acelai timp ei pot servi i la diseminarea de bune practici n interiorul rilor UE.
Documentul de Lucru nr. 7 al Comisiei Europene detaliaz modul de lucru cu aceti indicatori.n Anexa nr. 1 la acest document sunt definii 41 de indicatori cheie aplicabili n cazul programelor operaionale finanate prin Fondul European de Dezvoltare Regional i prin Fondul de Coeziune, n cadrul Obiectivelor Convergen, Competitivitate Regional i Ocupare. Ei sunt fie indicatori de output, fie indicatori de rezultat.
Lista de indicatori cheie nu reduce importana pentru Statele Membre a stabilirii indicatorilor pentru fiecare program/prioritate, cu accent deosebit pe indicatorii de rezultate, aa cum s-a menionat deja.
Conform Documentului de Lucru nr. 2 al CE, putem distinge dou tipuri de indicatori cheie (core):
indicatori cheie specifici pentru un program
indicatori cheie comuni
2.4.1 Indicatori cheie specifici pentru un program
Aa cum reiese din elementele prezentate n seciunile anterioare, regula general subliniaz nevoia de a descrie obiectivele fiecrei axe prioritare n termeni de rezultate ateptate. Acestea trebuie explicate n mod calitativ n documentul de programare. Monitorizarea programului va acorda atenie special atingerii acestor obiective i rezultate. Aceti indicatori vor surprinde elementele eseniale ale modificrilor ateptate i sunt, n consecin, foarte importani.
n unele cazuri, aceti indicatori vor prelua o alt funcie important: cnd sunt derivai din cadre de lucru de politic general, cum ar fi agenda de la Lisabona, acetia vor descrie contribuia fondurilor structurale la aceste politici (efectul earmarking).
2.4.2 Indicatori cheie comuni
Indicatorii cheie comuni (minimi) sunt indicatori fizici i financiari, care pot fi utilizai pentru efectuarea comparaiilor sau agregrilor datelor pentru programele, axele prioritare sau/DMI-urile similare/asemntoare. n general, numrul de indicatori cheie trebuie s fie mic pentru ca acetia s fie adecvai i gestionabili cnd vine vorba de monitorizarea programului i analizele comparative sau tematice. Indicatorii cheie comuni sunt de obicei extrai dintr-un numr mai mare de indicatori de program (de output, rezultat, impact). Cu alte cuvinte, indicatorii cheie nu constituie un sistem de monitorizare separat, ci sunt un subset de indicatori cu utilizare special.
De exemplu, - angajarea - reprezint un obiectiv politic al CE i, simultan, o prioritate n cazul majoritii formelor de asisten. Un indicator cu impact esenial reprezint astfel numrul (brut) de locuri de munc generat direct de asistena structural.
Indicatorii cheie minimi, comuni sunt de o importan deosebit pentru nevoile de informare i de contabilizare ale Comisiei. Progresul acestora trebuie consemnat n seciune special n rapoartele anuale asupra implementrii PO.
Dup apariia DL nr. 7 n 2009, AM-urile au trebuit s-i revizuiasc sistemele de indicatori, urmrind n mod special, sau introducnd, dup caz indicatorii cheie.
ntruct Documentul de Lucru nr. 7 nu se adreseaz interveniilor finanate din Fondul Social European, pentru uniformizare n rndul Statelor Membre, Comisia European a inclus o serie de cerine comune de raportare, pentru participanii la operaiunile FSE, prin Regulamentul de implementare (CE) nr. 1828/2006, Anexa XXIII (care stabilete defalcrile necesare ale numrului de participani n funcie de sex, statut pe piaa muncii, de vrst, apartenena la grupurile vulnerabile i nivelul de educaie).
2.5 Alte categorii de indicatori
Alte categorii de indicatori au n vedere aspectele financiare.
2.5.1 Indicatorii de performanMsurarea progresului fizic al unui program este un proces mai complex, care depinde n principal de stabilirea i dezvoltarea unor indicatori de performan bine determinai.Indicatorii de performan uzeaz de caracteristici funcionale pentru a msura eficacitatea, calitatea i implementarea din punct de vedere financiar. Ei sunt acceai cu indicatorii de monitorizare. Indicatorii de performan permit managerilor unui program, celor implicai n activitatea de monitorizare, precum i evaluatorilor s msoare progresul programului, la diferitele sale niveluri de implementare.2.5.2 Indicatorii financiari
Indicatori financiari sunt folosii pentru monitorizarea progreselor n ceea ce privete angajarea anual i plata fondurilor disponibile pentru fiecare operaie, ax prioritar sau program, raportat la costurile sale eligibile (conform Documentului de lucru al CE nr. 2).Folosirea indicatorilor financiari este reglementat prin articolul 66, alin. 2 din Regulamentul Consiliului 1083/2006, unde se specific: Autoritatea de management i comitetul de monitorizare asigur monitorizarea prin intermediul indicatorilor financiariClasificarea indicatorilor dup diferite criterii nu face altceva dect s inventarieze multitudinea unghiurilor de vedere din care pot fi privii indicatorii.
Calitatea unui indicator de a se plasa ntr-o categorie nu exclude capacitatea acestuia de a face parte i din alt categorie (de exemplu un indicator de output, poate fi i indicator financiar, dar poate fi i indicator de monitorizare, fiind n acelai timp definit i ca indicator de proiect, dar i ca indicator de program, etc).
3 Capitolul 3 - Sistemul de indicatori3.1 Abordri conceptuale; Rol
Pentru a satisface nevoia de evaluare i monitorizare a obiectivelor convenite la nivelul fiecrui program se fundamenteaz sistemul de indicatori.
Sistem de indicatori se refer la setul de indicatori individuali ca un ntreg, i n sens mai larg nglobeaz i resursele umane, resursele informaionale, aranjamente instituionale i prile interesate implicate n crearea i utilizarea indicatorilor.
Stabilit la nivelul fiecrui PO, sistemul de indicatori conine informaii cheie unitare, pentru a permite agregarea de jos n sus la diferite niveluri de intervenie (proiecte, domenii majore de intervenie, axe prioritare, PO, CNSR), teme, sectoare. Sistemul conine lista detaliat a indicatorilor de monitorizare i evaluare, definiia fiecrui indicator, responsabilitile, periodicitatea i modalitile de colectare i procesare a datelor, precum i tabele de indicatori care vor fi generai de sistemul electronic SMIS pentru a obine o imagine clar a progresului implementrii PO i a contextului interveniilor. Unde este cazul, conform cerinelor CE, se elaboreaz indicatorii pe diferite criterii (teritoriu, sex, grup int, mrime).
Calitatea sistemului de indicatori trebuie s se reflecte n calitatea fiecrui indicator stabilit.
Utilizarea i mbuntirea setului de indicatori ca parte a sistemului de monitorizare al unui PO este o sarcin continu pe parcursul ntregii perioade de implementare a programului.
n acest scop, cu implicarea ACIS i a AM-urilor se realizeaz evaluri i verificri periodice, privind calitatea sistemului de monitorizare i implicit a sistemului de indicatori.
n Romnia, la nivelul tuturor programelor operaionale au fost fundamentate listele cu indicatorii ce sunt folosii n procesele de monitorizare i evaluare. n alegerea indicatorilor, pentru crearea sistemului de indicatori se ine cont de principiul proporionalitii i de ndrumrile din ghidurile emise de Comisia European (Documentele de Lucru nr. 2 i nr. 7), care permit i asigurarea unui nivel comun de utilizare a "indicatorilor cheie" (core indicators) n toate Statele Membre.
Intruct Documentul de Lucru nr. 7 nu se adreseaz interventiilor finanate din Fondul Social European, pentru uniformizare n randul Statelor Membre, Comisia European a inclus o serie de cerine comune de raportare, pentru participanii la operaiunile FSE, prin Regulamentul de implementare (CE) nr. 1828/2006, Anexa XXIII (care stabilete defalcrile necesare ale numrului de participani n funcie de sex, statut pe piaa muncii, de vrst, apartenena la grupurile vulnerabile i nivelul de educaie).
Sistemul de indicatori trebuie s asigure acoperirea tuturor obiectivelor, cu respectarea cerinelor impuse de Comisia European, pe linia indicatorilor cheie.
Sistemul de msurare a ndeplinirii obiectivelor generale i specifice ale programelor operaionale este creat pe principiul stabilirii de indicatori msurabili care fac posibil att monitorizarea executrii programului, ct i evaluarea performanelor sale n raport cu obiectivele stabilite.
n acest scop, indicatorii sunt stabilii pe patru niveluri:
a) la nivelul de context indicatori de context, cu scopul de a furniza informaii msurabile despre mediul i situaia socio-economic n zonele/regiunile n care se acord sprijin;
b) la nivelul obiectivului global/general al programului indicatori de impact care cuantific efectele programului operaional mai departe de sfera de aplicare a efectelor imediate;
c) la nivelul axelor prioritare i al domeniilor majore de intervenie includ indicatori de rezultat, care exprim cuantificarea efectelor imediate ale sprijinului acordat asupra grupului int i indicatori de output, care ofer informaii despre progresul fizic (realizrile tangibile obinute);d) la nivelul asistenei financiare nerambursabile indicatorii cheie (core indicators), pentru asigurarea unui nivel comun de utilizare i a comparabilitii.
3.2 Rolul SMIS n gestionarea sistemului de indicatoriInstituia care poart responsabilitatea pentru coordonarea sistemului de indicatori utilizat n monitorizarea i evaluarea programelor operaionale i a CNSR este Autoritatea pentru Coordonarea Instrumentelor Structurale (ACIS), prin intermediul Unitii Centrale de Evaluare (UCE).
n acest scop, ACIS gestioneaz SMIS (Single Management Information System) CNSR, sistem electronic central proiectat pentru a colecta i centraliza datele agregate la nivel de proiect pentru managementul financiar, verificri, audit, pentru monitorizarea i evaluarea programelor operaionale n cadrul obiectivului de convergen.
Astfel, SMIS este un sistem informatic la nivel naional care sprijin toate instituiile romneti ce implementeaz CNSR i programele operaionale. Sistemul se adreseaz nevoilor tuturor nivelurilor de management (AM-uri, OI-uri, ACP, etc.) i tuturor etapelor ciclului de programare (programare, contractare, monitorizare, evaluare, pli, audit i control). Ca instrument de monitorizare, SMIS este principalul furnizor de informaii asupra progresului implementrii, att la nivelul proiectelor ct i la nivel de program, permind generarea automat a rapoartelor de monitorizare.
SMIS are la baza trei principii: disponibilitatea datelor (datele sunt disponibile direct n urma cererii unui utilizator autorizat); confidenialitatea datelor (datele sunt furnizate doar acelor utilizatori autorizai s acceseze o anumit informaie); integritatea datelor (procesarea datelor se face doar de ctre utilizatorii autorizai prin mijloace autorizate).
Pentru a furniza un instrument de management eficace, modelul funcional al SMIS se bazeaz pe un set de module, care, mpreun, reflect o mare varietate de funcionaliti pe care sistemul trebuie s le ndeplineasc, dup cum urmeaz:
Programarea, care permite nregistrarea i modificarea principalelor informaii privind CNSR, pe nivelurile inferioare ale programelor operaionale, axelor prioritare, domeniilor majore de intervenie i operaiunilor;
Managementul proiectelor (nregistrarea i modificarea principalelor informaii despre proiecte, inclusiv contractele);
Monitorizarea, care permite urmrirea progresului CNSR la toate nivelurile, i acolo unde este necesar, potrivit intelor stabilite n prealabil; de asemenea, permite agregarea automat de jos n sus a valorii reale a datelor principale care sunt nregistrate la nivelurile inferioare ale sistemului;
Auditul i Controlul, care nregistreaz rezultatele controlului i auditului i genereaz rapoartele de audit;
Circuitului financiar, care se ocup cu estimrile cererilor de plat, ncasrile, veniturile proiectelor, suspendrile de plat i recuperrile de fonduri.
Schimbul electronic de date cu Comisia European se realizez, conform prevederilor art. 40-42 din Regulamentul Comisiei nr. 1828/2006, printr-o interfa ntre SMIS i sistemul pentru gestionarea fondurilor n Comunitatea European 2007-2013 - SFC2007.
3.3 Caracteristicile unui sistem de indicatori de calitate
Pentru proiectarea unui sistem de nalt calitate a indicatorilor, Comisia European face cteva recomandri, trasnd caracteristicile eseniale ce ar trebui avute n vedere:
a) O strategie clar, concentrat, bine fundamentat la nivel teoreticAstfel, un prim element pe care trebuie s-l aib n vedere entitile implicate n programare este acela c un program ce este concentrat pe un numr limitat de prioriti este posibil s genereze un impact nalt n zonele selectate, dar care se poate reflecta ntr-un set limitat de indicatori. Ca urmare, spre deosebire de perioada anterioar de programare, se recomand pstrarea indicatorilor relevani i eliminarea surplusului de indicatori, aa nct numrul acestora s fie rezonabil.n al doilea rnd, calitatea unui sistem de indicatori depinde n mod direct de o nelegere clar a logicii interveniei unui program, de ex. legtura dintre operaiuni/domenii majore de intervenie, axe prioritare i nivelul programului. O abordare realist ar trebui s aib n vedere dezvoltarea indicatorilor n cadrul dezbaterilor privind aciunea n general i nu adugarea lor atunci cnd aceste elemente au fost finalizate.
b) Utilizarea corect a indicatorilor de contextProgramele conin o analiz a situaiei n materie de puncte slabe i puncte tari pentru regiunile sau domeniul de politici n cauz (analiza SWOT), care trebuie reflectat prin indicatorii de context.
Pentru asigurarea consistenei, atunci cnd selecteaz indicatori de context, Statele membre trebuie s in cont de indicatorii deja utilizai prin documentele care vizeaz politicile n cauz, cum ar fi de exemplu Programele Naionale de Reform pentru Strategia Lisabona (n urmtoarea perioada de programare Strategia Europa 2020), Planul naional de aciune pentru incluziune, etc.
n general statisticile oficiale pot servi ca surse de date pentru indicatorii de context.
Aa cum se meniona i la prezentarea indicatorilor de context, ntruct ei definesc doar contextul n care se implementeaz un program, documentele de programare nu pot include inte cuantificabile pentru acest tip de indicator.
c) Folosirea valorilor de referin pentru indicatori (baseline)
Fiecare indicator necesit o valoare de baz (cea de la care pornete) i o valoare int (cea la care dorete s ajung, dup realizarea interveniei).
Practic, datele privind valoarea de referin se refer la valoarea iniial (valoarea de baz) fa de care este ulterior msurat un indicator.
Acestea reprezint intrumentul de nelegere a importaniei relative a interveniei Fondurilor Structurale n relaie cu situaia existent, nevoile i instrumentele de politici naionale.
Valoarea iniial baseline descrie nivelul la care indicatorul este atunci cnd ncepe programul. Exemple: 1) un indicator de output este "numrul de coli primare construite n regiune". La nceputul programului exist deja 100 de coli primare din zona x. n acest caz, valoarea iniial pentru acest indicator este de 100 (coli primare n regiunea x); 2) dac obiectivul unui DMI este acela de a spori numrul IMM-urilor dintr-o regiune, cea mai adecvat informaie privind valoarea de referin o reprezinr numrul IMM-urilor existente la demararea programului. Odat ce aceste informaii sunt colectate, devine apoi posibil s concluzionm, n mod specific, c aproximativ 20% din afacerile existente ntr-o regiune eligibil au beneficiat de asistena Fondurilor Structurale.
n definirea valorilor de referin, se pot distinge dou abordri:
abordarea static
abordarea dinamic
Abordarea static, utilizat pentru majoritatea indicatorilor n programele finanate prin Fondurile Structurale, are n vedere o simpl exprimare a unei valori pentru un indicator la un anumit punct de referin din trecut; de exemplu: numrul IMM-urilor active n cercetare ntr-un anumit an; rata abandonului colar n anul de referin x.
Sursa : DL. nr.2Abordarea dinamic
n acest caz este estimat valoarea unui anumit indicator pe parcursul perioadei de programare, avnd n vedere c progresul este rareori liniar (n special n anii de nceput) i c valoarea unui indicator poate fi influenat i de ali factori, n afara celor legai de intervenie.
Sursa: Documentul de Lucru nr. 2
Datele privind valoarea de referin n conceptul static sunt adunate iniial din statisticile oficiale. Uneori, totui, aceste surse pot ridica probleme. Problemele tipice includ:
Indisponibilitatea datelor la un nivel geografic adecvat;
Indisponibilitatea datelor care s fie suficient de disociate la nivel de sector;
ntrzieri n publicarea datelor;
Lacune n statisticile oficiale n legtur cu cerinele programului (de exemplu, distincia ntre salariaii cu norm ntreag i cei cu norm parial poate s nu fie reflectat n statisticile oficiale);
n anumite cazuri, statisticile oficiale au nevoie s fie suplimentate cu sondaje sau posibil cu indicatori indireci (de exemplu, datele despre cifra de afaceri ale IMM-urilor pot oferi unele informaii aproximative despre competitivitate).
Conceptul dinamic necesit utilizarea unei varieti de tehnici care pot fi de natur foarte diferit. O chestiune important ce poate fi relativ uor integrat este intervenia planificat a fondurilor publice naionale. De exemplu, ntr-un proiect de infrastructur finanat din fonduri europene, un alt factor important ar fi i programele/fondurile naionale implicate. Ca urmare, inta ar putea s reflecte influenele ambelor procese investiionale.
n anumite situaii, pentru a marca evoluia indicatorului, se pornete de la valoarea de referin zero (de exemplu pentru indicatorii cheie, raportai pentru agregare la nivelul Comisiei Europene).
d) Cuantificarea ex-ante (valorile int)
Indicatorii necesit inte cuantificabile deoarece, altfel, gradul n care obiectivele stabilite sunt ndeplinite nu poate fi msurat. Indicatorii sunt cei care dovedesc succesul programului/al interveniei.
Valoarea int target arat ce dorete programul s realizeze cu privire la indicatorii de output, rezultat i de impact. Avnd n vedere unul din exemplele prezentate n seciunea anterioar, inta ar putea fi 105 (coli primare n regiunea x).Unul dintre cele mai importante obiective generale ale sistemului de programare pentru Fonduri Structurale este acela de a facilita tranziia de la un sistem de implementare, iniial acionat de input (resurse) la un sistem orientat ctre rezultat (efecte, beneficii pentru comunitate). Categoriile indicatorilor de output, de rezultat i de impact trebuie s fie un instrument pentru acest scop. Aceast consideraie explic rolul important al cuantificrii ex ante a obiectivelor programului. Cuantificarea ex ante este unul dintre cele mai mai solicitante i dificile exerciii n stabilirea unui sistem de indicatori. Toate slbiciunile sistemului, referitoare la definiii, disponibilitatea datelor i funcionarea modelelor explicative se manifest n acest exerciiu. n acest sens, cuantificarea unei inte pentru un indicator reprezint o verificare a calitii.
Valorile int trebuie s fie realiste, dar n acelai timp provocatoare.
Pentru cuantificarea intelor se pot folosi diferite metode, cele mai utilizate fiind cele care se bazeaz pe:
folosirea trendului istoric, alturi de utilizarea unor tehnici de prognoz sau de modelare macro-economic. O bun cunoatere a seriilor de date poate servi ca baz pentru o extrapolare realist. utilizarea comparaiilor /reperelor (bazat pe programe anterioare, similare). Astfel de date trebuie s fie folosite cu precauie, deoarece condiiile specifice pentru programe diferite nu pot fi aceleai.Experiena demonstreaz c output-urile i rezultatele sunt relativ simple de cuantificat, datorit faptului c sunt destul de apropiate de nivelul operaiunii/DMI-ului. n schimb, impacturile sunt mai dificil de cuantificat, ntruct pe de o parte ele pot reprezenta adeseori efectul cumulativ al unui numr mai mare de intervenii, iar pe de alt parte, ele trebuie s fie msurate din afara contextului operaional. Evaluarea poate fi util n surmontarea unor astfel de dificulti.
Utilizarea tehnicilor de prognoz sau a modelelor sectoriale mici poate fi necesar pentru indicatorii de rezultat i de impact. n special pentru indicatorii de impact, utilitatea cuantificrii depinde n mod direct de calitatea metodelor de msurare i de estimare. Folosirea tehnicilor de modelare macro-economic permite stabilirea intelor de sus n jos.
n acelai timp, pornind de la premisa c o cuantificare realist (de calitate) la nivel de program depinde de calitatea cuantificrii indicatorilor la nivel de operaiune/DMI, se recomand ca stabilirea intelor s porneasc de jos n sus, respectiv, toate output-urile s fie cuantificate la nivel de DMI/operaiune, urmnd ca apoi, atenia s se concentreze pe cuantificarea indicatorilor de rezultat pentru prile cele mai importante ale unui program n termeni financiari i strategici (de regul axa prioritar) i n final atenia s fie ndreptat pe cuantificarea impacturilor selectate.
Pentru acuratee, n msura n care este posibil, trebuie s se combine cele dou tehnici, efectundu-se o verificare consistent ntre datele produse prin tehnica de sus n jos i sistemul jos-sus al indicatorilor de output, de rezultat i de impact.
Pe de alt parte, stabilirea valorilor int trebuie s se bazeze pe cteva elemente eseniale:
1. Nevoile identificate2. Bugetul disponibil3. Perioada de implementare a programului
Relaia dintre aceste elemente este redat n urmtoarea schem:
Programele operaionale au o anumit alocare financiar (care permite achiziionarea resurselor necesare desfurrii operaiunilor), care trebuie folosit ntr-o perioada determinat de timp - perioada de implementare a PO.
Este evident c obiectivele, care au fost stabilite avnd n vedere nevoile economico-sociale, ar trebui s fie verificate/cuantificate n comparaie cu ce este posibil n aceast perioad i cu resursele alocate. n plus, ar trebui luai n considerare i factori restrictivi cum ar fi: organizarea instituional, elaborarea procedurilor administrative, perioada necesar pregtirii de proiecte, etc.
Pentru a se ajunge la indicatorii la nivelul axei prioritare i ai programului o problem important o reprezint i agregarea indicatorilor.
n procesul de agregare pot aprea diferite dificulti datorit diversitii indicatorilor sau aprecierii incorecte a unor corelaii. n timp ce indicatorii financiari pot fi agregai la toate nivelurile (la nivel de DMI, ax prioritar, program i la nivel naional), indicatorii fizici sunt mult mai dificil de cumulat i adeseori este inadecvat s ncerci s faci acest lucru.
n construirea unui bun sistem de indicatori modul n care se poate obine o agregare corect reprezint o adevrat provocare.
e) Indicatorii cheie (core indicators)
Programele pot include un numr mare de indicatori, reflectnd astfel o varietate mare de intervenii i nevoi ale utilizatorilor, indicatori care nu pot fi ntotdeauna agregai pentru a crea imaginea de ansamblu.
n acelai timp Comisia European are nevoie de informare i n acest scop a definit un sub-set mai limitat de indicatori, respectiv indicatori cheie (eseniali).
Avnd n vedere faptul c numai indicatorii cheie se pot agrega la nivelul Uniunii Europene, s-a propus limitarea transferului electronic al datelor fizice (cu ajutorul SFC2007) la indicatorii cheie.
Una dintre provocrile cheie ale Comisiei i Statelor Membre este de a se asigura c indicatorii cheie se utilizeaz n mod corespunztor i se raporteaz cu ajutorul acestui sistem electronic de transfer al informaiilor pentru indicatori. n cazul n care indicatorii cheie nu se raporteaz cu ajutorul acestui sistem, acetia nu se pot agrega electronic.
Modalitatea de raportare prin intermediul SFC2007 este descris pe larg n Documentul de Lucru nr. 7 al Comisiei Europene (anexa nr. 2 la acest Manual).
f) Inovaie, cooperare: atenie special fa de problemele procesului
n ntregul proces de stabilire a unui sistem de indicatori, trebuie reinut faptul c indicatorii sunt doar un instrument pentru gestionarea eficient, cu potenial intrinsec i cu limitri. De aceea trebuie permanent acordat atenie gsirii de metode i tehnici de gestionare cu succes a problemelor aprute.
g) Liste de verificat ce ar trebui s fie incluse n Programele Operaionale i n Cadrele Strategice Naionale de Referin
Pentru orientarea entitilor implicate, n DL nr. 2 sunt furnizate dou liste de verificat care conin indicatorii i explicaiile care ar trebui incluse n programele operaionale i n Cadrul Strategic Naional de Referin. Acestea trebuie utilizate flexibil, n funcie de fiecare program n parte.
h) Integrarea temelor orizontale
Monitorizarea i evaluarea temelor orizontale trebuie integrate n sistemul de indicatori generali al programului i nu pot fi separate ntr-un sistem de indicatori specific.
La nivelul fiecrui program se stabilesc temele orizontale relevante, iar modul de respectare a acestor principii sau de contribuie la ele trebuie de asemenea msurate prin indicatori. Teme precum egalitatea de anse i dezvoltarea durabil se regsesc n toate programele operaionale.
De exemplu, articolul 66, alin.2 din Regulamentul General menioneaz c, acolo unde natura asistenei o permite, statisticile se vor defalca n funcie de sex i de dimensiunea ntreprinderilor beneficiare.
3.4 Funciile sistemului de indicatori
Principalele funcii ale unui sistem de indicatori se concretizeaz n urmtoarele aspecte:
colectarea datelor
procesarea datelor
msurarea i analiza indicatorilor monitorizarea i comunicarea/raportarea
Instituiile implicate n realizarea acestor funcii sunt instituiile implicate n gestionarea programelor operaionale (organisme intermediare, autoriti de management, prin departamentele specializate de monitorizare i evaluare) i ACIS, la nivel central, ca responsabil pentru CNSR.
3.4.1 Colectarea datelor
Alturi de definirea unor indicatori adecvai trebuie s se acorde o atenie sporit i mecanismelor de colectare a datelor necesare msurrii. Se pune astfel problema existenei unor statistici de ncredere detaliate, periodice, necesare pentru a cuantifica n mod adecvat un indicator, iar n cazul inexistenei acestora, ce efort ar trebui fcut pentru a aduna date ntr-un mod alternativ. Colectarea datelor ncepe de la nivelul beneficiarului, care raporteaz entitii direct responsabile cu implementarea domeniului major de intervenie/axei prioritare.
Colectarea datelor se realizeaz printr-o abordare de jos n sus, implicnd diverse structuri responsabile cu implementarea programului.
Procesul de colectare a datelor const n urmrirea progresului privind realizarea indicatorilor fizici i financiari
Colectarea datelor presupune munc i de asemenea costuri, care trebuie estimate n prealabil, pentru a se planifica mijloacele adecvate. Exist adesea o relaie direct ntre complexitatea sursei de verificare (ex. uurina colectrii de date i analiza) i costurile sale. Dac culegerea datelor necesare pentru un indicator reprezint un proces prea complicat sau prea costisitor, atunci se poate ncerca nlocuirea indicatorului cu unul mai simplu, mai ieftin, chiar dac este vorba de un indicator indirect. Costurile de producere a indicatorului nu pot excede utilitatea sa.
Ca urmare, n cazul n care cuantificarea unui indicator este complicat, atunci i producerea unor indicatori alternativi ar trebui luai n considerare. n cazul n care nu exist alternative, iar indicatorul original este esenial pentru monitorizarea i evaluarea programului, ar trebui s fie alocate n bugetul programului resursele financiare necesare pentru a construi mecanisme de colectare corect a datelor.
Surse de verificare
Sursele de verificare indic unde i sub ce form pot fi gsite informaiile. Odat cu identificarea i formularea indicatorilor, trebuie s se specifice i sursele de verificare (SV).
Acestea ar trebui s cuprind:
forma n care trebuie cutat informaia privitor la indicator (ex.: rapoarte de activitate, rapoarte de progres, rapoarte financiare, rapoarte statistice oficiale, baze de date, documente specifice, etc.);
instituia care poate furniza informaia privitor la indicatorul respectiv (ex.: beneficiarul, OI, AM, Agenia Judeean pentru Ocupare i Formare a Forei de Munc, Camera de Comer i Industrie, etc);
periodicitatea cu care trebuie furnizat informaia (ex.: lunar, trimestrial, anual, etc.), acolo unde este cazul.
Sursele de verificare, din afara programului, ar trebui estimate dup criterii precum: accesibilitatea, credibilitatea i relevana. Aa cum s-a mai precizat, volumul de munc i costurile pentru colectarea informaiilor pentru indicatorii ce urmeaz s fie folosii n timpul programului, trebuie estimate, iar mijloacele necesare trebuie puse la dispoziia programului. Surse eseniale de verificare pot fi:
informaiile din rapoartele de activitate ale proiectelor (rapoarte de progres, rapoarte tehnico-financiare i rapoarte ale vizitelor on site de monitorizare) sunt utile pentru a vedea progresele indicatorilor de input, output i (uneori) de rezultat. La nivel de proiect beneficiarii proiectului vor trebui s ofere informaii cu privire la dimensiunea real a indicatorilor. Aceste informaii vor fi folosite ntr-un sistem de monitorizare i informare la nivelul PO i CNSR, sistemul de indicatori fiind n strns legatur cu sistemul de monitorizare la nivelul PO/CNSR.
pentru proiectele de infrastructur, Analiza Cost-Beneficiu sau studiile ex-ante de evaluare pot fi utile n a furniza ex-ante o estimare realist a indicatorilor de rezultat i de impact.
sondajele, chestionarele, activitile de teren, colectarea de informaii de la alte organizaii, studii specializate pot fi, de asemenea, utilizate ca surse de informare pentru a evalua amploarea indicatorilor de rezultat.
evalurile intermediare (operaionale sau strategice) ale PO sunt utile pentru a vedea progresul la indicatorii de rezultat i de impact.
statisticilor oficiale ale Biroului Naional de Statistic, sau ale altor instituii pot fi utilizate ca surse de verificare pentru indicatorii de impact (ocuparea forei de munc, PIB-ul, numrul de firme noi, etc.).Concluzie
Sursele de verificare indic unde i sub ce form pot fi gsite informaiile despre realizrile i rezultatele la nivelul PO (descrise de indicatori).
Este important ca sursele de verificare s fie formulate chiar de la nceputul operaiunii, alturi de indicatori (aa nct s se poat planifica i mijloacele necesare pentru accesarea/elaborarea lor).
3.4.2 Procesarea datelor Procesarea datelor are n vedere convertirea informaiilor culese n indicatori, incluznd i operaiunile aferente, respectiv: stocarea, actualizarea, pregtirea pentru ncrcarea n sistemul electronic SMIS sau alte sisteme de informaii dezvoltate de program.n pregtirea datelor pentru monitorizare se au n vedere o serie de elemente, cum ar fi:
punerea informaiilor cantitative n contextul calitativ; reducerea volumului informaiilor furnizate, n comparaie cu experiena curent; prezentarea informaiilor ntr-o form standardizat; efectuarea anumitor analize preliminare, subliniind informaiile critice;
utilizarea tehnicilor de prezentare adecvate.
3.4.3 Msurarea i analiza indicatorilorMsurarea presupune cuantificarea informaiilor (atribuirea de valori) cu privire la un obiectiv de atins, o resurs mobilizat, un output de realizat sau un efect de obinut.
Analiza indicatorilor
Un sistem de indicatori bine fundamentat trebuie s se reflecte n calitile indicatorilor.
Analiza la nivelul indicatorilor individuali se realizeaz utiliznd urmtoarele criterii de calitate:
relevana senzitivitatea
disponibilitatea
costurileRelevana se refer la capacitatea unui indicator individual de a fi strns legat de strategia i obiectivele programului i de a reflecta scopul pentru care a fost colectat.
Senzitivitatea unui indicator se refer la capacitatea de reacie a unui indicator atunci cnd apare o modificare la variabila ce trebuie msurat.
Disponibilitatea indicatorului urmrete uurina cu care indicatorul poate fi livrat la timp i actualizat periodic.
Costul indicatorului se refer la costul de colectare a datelor necesare msurrii indicatorului, corelat cu frecvena operaiunii de colectare. Costurile de gestionare a indicatorului nu trebuie s depeasc utilitatea sa.
3.4.4 Monitorizarea i comunicareaMonitorizarea indicatorilor are la baz informaiile furnizate de jos n sus, de la nivelul proiectelor, prin intermediul rapoartelor. n acest sens, se au n vedere informaiile cuprinse n urmtoarele categorii de rapoarte: rapoarte de progres, care permit monitorizarea indicatorilor fizici (de output)
rapoarte tehnico financiare, din care, alturi de evidenierea indicatorilor fizici se urmrete i evoluia indicatorilor financiari
rapoarte de vizit la faa locului
Informaiile sunt culese de la nivelul proiectelor de ctre OI/departamentele de monitorizare ale AM, dup caz i sunt centralizate/agregate la nivel de operaiune/DMI i ax prioritar.
OI-urile centralizeaz informaiile n Raportul Semestrial de Implementare, pe baza crora sunt realizate Rapoartele Anuale de Implementare.
Departamentele de Monitorizare asigur nregistrarea i actualizarea indicatorilor fizici de monitorizare n SMIS-CNSR i urmresc concordana valorii indicatorilor fizici de monitorizare din rapoartele semestriale/anuale de implementare la nivelul domeniilor majore de intervenie/axelor prioritare, cu valoarea indicatorilor fizici de monitorizare din SMIS.n situaiile lunare care se transmit la ACIS se regsesc indicatorii financiari, care reflect capacitatea de absorbie.n rapoartele anuale sunt prevzute i seciuni (n conformitate cu art. 67 din Regulamentul 1083/2006), n care sunt reflectai alturi de indicatorii financiari i ceilali indicatori.
La nivel naional, centralizarea i agregarea, dup caz se realizeaz la nivelul SMIS.
La nivelul UE, se realizeaz doar agregarea indicatorilor cheie, care sunt ncrcai prin transfer electronic prin intermediul SFC 2007, conform DL. nr. 7.3.4 Criterii de analiz a sistemului de indicatoriComisia European recomand autoritilor competente s efectueze control de calitate att la nivelul indicatorilor, ct i la nivelul sistemului de indicatori.Criteriile de calitate avute n vedere pentru aprecierea indicatorilor individuali au fost prezentate n seciunea 3.4.3.La nivelul sistemului de indicatori analiza de calitate are n vedere urmtoarele aspecte: gradul de acoperire
echilibrul
capacitatea de gestionare (manageability).
Gradul de acoperire
Gradul de acoperire se refer la capacitatea indicatorilor de a reflecta obiectivele programului (general, specifice i operaionale) i progresul la toate nivelurile. n acest sens se verific: logica interveniei i modul n care indicatorii de output, de rezultat i de impact reflect corect toate nivelurile de intervenie, de la operaiune pn la nivelul CNSR; folosirea indicatorilor potrivii la fiecare nivel i posibilitatea de agregare de jos n sus; modul de acoperire a obiectivelor stabilite pentru toate operaiunile/DMI-urile i axele prioritare ale unui program (gradul de acoperire viznd i coninutul indicatorilor ca un ntreg); lipsa sau nepotrivirea unor indicatori la nivelul unor obiective; definirea unor indicatori de context potrivii; existena indicatorilor cheie (core indicators), agregai la nivel central i folosii de Comisia European, conform precizrilor din DL.nr. 7.
Echilibrul
n acelai timp, trebuie asigurat un echilibru ntre tipurile de indicatori folosii (context, input, output, rezultat impact), aa nct s fie asigurat logica interveniei, dar i nevoile diferiilor utilizatori (n procesul de monitorizare i evaluare) avndu-se n vedere i principiul proporionalitii, descris n articolul 13 din Regulamentul 1083/2006.Capacitatea de gestionare
Capacitatea de gestionare se refer la msura n care capacitatea instituional/modul de organizare faciliteaz i creeaz proceduri simple i eficiente de colectare, prelucrare, msurare, monitorizare, agregare i transmitere a indicatorilor. Realizarea acestor operaiuni influeneaz direct funcionalitatea SMIS, respectiv modul n care pot fi agregai i evideniai indicatorii n SMIS, ntr-o manier potrivit.4 Capitolul 4 - Utilizarea indicatorilor n procesul monitorizrii i evalurii programelor operaionale4.1 Folosirea indicatorilor n monitorizareActivitatea de monitorizare este reglementat prin Regulamentul Consiliului (CE) nr.1083/2006 Titlul VI, Capitolul II Monitorizarea: art.63- 68.
Sistemul de monitorizare la nivel de program este un element obligatoriu n structura unui PO, conform art. 37 din Reg. 1083/2006. La articolele 37, 66 i 67 din Regulament, aa cum s-a prezentat n capitolele anterioare, sunt prevederi speciale referitoare la folosirea indicatorilor n procesul de monitorizare i raportare.Sistemul de monitorizare a implementrii unui Program Operaional este constituit dintr-o arhitectur operaional i funcional complex, care se bazeaz pe colectarea datelor tehnice/fizice i financiare transmise de beneficiar de la nivelul proiectului i pe sintetizarea i agregarea ulterioar a acestor date de ctre OI/AM la nivel de operaiune, domeniu major de intervenie, ax prioritar i program operaional i reflectarea lor n rapoartele de implementare ale Programelor Operaionale.
n aceast operaiune SMIS (prezentat n seciunea 3.2), ca sistem unic de monitorizare a tuturor Programelor Operaionale, joac un rol esenial.n mod practic, sistemul de monitorizare presupune o urmrire/examinare continu, sistematic a contextului, resurselor (inputs), realizrilor imediate obinute (outputs), rezultatelor (results) i impactului programului i interveniilor i are la baz un set de indicatori fizici i financiari prestabilii.
Conform Documentului de lucru al CE nr. 2, monitorizarea trebuie s se bazeze pe un sistem de informaii coerente, inclusiv rapoarte, analize, bilanuri i un sistem de indicatori realist i echilibrat.
Monitorizarea la nivel de program este un proces continuu care, pe baza sistemului de indicatori, indic dac programul continu sau nu s nregistreze progrese, dac i atinge obiectivele/intele stabilite, oferind astfel posibilitatea adoptrii la timp de msuri corective.
Ca urmare, fr sistemul de indicatori, monitorizarea nu ar putea defini elementele legate de evoluia/progresul programului operaional. Informaiile cu privire la realizrile obinute, comparativ cu valoarea preconizat a indicatorilor sunt sintetizate n rapoartele generate de sistemul de monitorizare, rapoarte realizate ntr-un format standard pentru a permite comparaia n timp a informailor oferite.Datele obinute n procesul de monitorizare, reflectate n rapoartele menionate, reprezint un input esenial pentru activitatea de evaluare a Programului Operaional.4.2 Indicatorii instrument de baz n procesul de evaluare a PO
Evaluarea Programelor Operaionale reprezint o activitate inseparabil de gestionarea general a programului operaional i de aciunile de implementare, fiind un instrument de analiz a relevanei, eficienei, eficacitii asistenei financiare utilizate, precum i a impactului/utilitii i sustenabilitii rezultatelor obinute, msurate prin indicatori.
Comisia European a definit evaluarea ca fiind o apreciere asupra unor intervenii n conformitate cu rezultatele, impactul i nevoile pe care acestea intenioneaz s le satisfac.
Cu alte cuvine, reprezint o judecat a valorii unei intervenii publice pe baza de criterii i standarde explicite, avnd la baz rezultatele obinute n urma interveniei, msurate prin indicatori.
4.2.1 Prevederi regulamentareObligaia de a desfura activiti sistematice de evaluare ale PO, precum i regulile generale pentru aceste activiti sunt prevzute n Regulamentul General al Consiliului (CE) nr. 1083/2006, care stabilete dispoziii generale privind Fondul European de Dezvoltare Regional, Fondul Social European i Fondul de Coeziune - articolele 47-49.
Astfel, la articolul 47, alin. 2 din Regulament se precizeaz c evalurile PO se realizeaz:
nainte de nceperea perioadei de programare evaluarea ex-ante pe parcursul perioadei de implementare/evaluarea continu evaluarea ongoing
dup finalizarea perioadei de implementare evaluarea ex-post i pot fi:
de natur strategic (pentru a studia evoluia unui program sau a unui grup de programe comparativ cu prioritile comunitare i naionale
de natur operaional (pentru a susine supravegherea unui program operaional)Regulamentul stipuleaz faptul c evaluarea ex-ante a programelor operaionale reprezint responsabilitatea statelor membre, iar evaluarea ex-post reprezint responsabilitatea Comisiei. De asemenea, textul regulamentului mai menioneaz c pe parcursul perioadei de programare statele membre vor realiza evaluri continue legate de monitorizarea programelor operaionale, mai ales n cazurile n care monitorizarea programelor operaionale relev o ndeprtare semnificativ de la scopurile stabilite iniial sau acolo unde sunt fcute propuneri pentru revizuirea programelor operaionale .
Comisia poate, de asemenea, desfura evaluri strategice sau evaluri referitoare la monitorizarea programelor operaionale, n conformitate cu prevederile Articolului 49 al Regulamentului CE nr. 1083/2006.Pentru a uniformiza abordarea privind evaluarea PO la nivelul Statelor Membre, Comisia a elaborat Ghidul Evalsed i nite ghiduri/ndrumare metodologice, dup cum urmeaz: Documentul de Lucru nr. 1 din august 2006 pentru evaluarea ex-ante i Documentul de Lucru nr. 5 din aprilie 2007 pentru evaluarea continu (ongoing) anexa nr. 3 la acest Manual.4.2.2 Planul de evaluare
Totodat, Regulamentul Consiliului 1083/2006 introduce, pentru prima dat, conceptul de plan de evaluare. Mai exact, art. 48 (1) prevede c statele membre:
...Pot de asemenea s elaboreze, atunci cnd este cazul, n cadrul obiectivului Convergen, conform principiului proporionalitii prevzut n articolul 13, un plan de evaluare care va conine activitile orientative de evaluare pe care statul membru intenioneaz s le deruleze n diferitele faze ale procesului de implementare. Dei nu este obligatoriu, planul de evaluare este un instrument util, care programeaz msurile de evaluare ce trebuie luate n diferitele etape ale procesului de implementare i implicit, pe baza concluziilor din evaluare, msurile necesare pentru implementarea cu succes a Programului.ndrumarul Comisiei Europene privind evaluarea continu (DL.nr.5) recomand ca planurile de evaluare s fie dezvoltate att la nivel naional (la nivelul CNSR), ct i la nivelul programelor operaionale. Acesta recomand ca planurile s acopere ntreaga perioad de programare i s includ seciuni anuale pentru a fi actualizate n mod continuu.
Documentul de lucru menionat include, de asemenea, i o propunere de cuprins pentru planul multianual de evaluare.
Ca urmare a acestor recomandri, n Romnia la nivelul fiecrui PO i la nivelul CNSR au fost elaborate planuri multianuale de evaluare.
Totodat, conform recomandrilor Comisiei, la nivelul fiecrui PO s-au nfiinat Comitete de Coordonare a Evalurii, care s supravegheze implementarea planurilor anuale de evaluare.
La nivel naional a fost nfiinat un Grup de Lucru inter-instituional pentru Evaluare, format din reprezentani ai unitilor de evaluare ale AM-urilor, precum i din Unitatea Central de Evaluare din cadrul ACIS. Acest Grup de Lucru gestioneaz stabilirea structurilor, sistemelor i procedurilor referitoare la evaluarea programelor finanate prin instrumentele structurale i este responsabil de formularea recomandrilor n scopul de a mbunti evaluarea coordonat a CNSR i a Programelor Operaionale .
Evaluarea CNSR i a PO se poate realiza cu experi interni sau externi, iar costurile sunt suportate din axele de asisten tehnic.
4.2.3 Evaluarea ex-ante
Evalurile ex ante se efectueaz sub responsabilitatea autoritii nsrcinate cu ntocmirea documentelor de programare, de regul la nivelul fiecrui PO pe obiectivul de Convergen.Pentru perioada de programare 2007-2013, n Romnia, evaluarea ex-ante a fost realizat pentru toate programele operaionale de ctre un evaluator extern n anul 2006, n cadrul unui proiect PHARE Evaluarea ex-ante, gestionat de ACIS prin intermediul Unitii Centrale de Evaluare, n strns cooperare cu Autoritile de Management i cu principalii actori implicai.
Evaluarea ex-ante s-a concentrat asupra urmtoarelor aspecte: Relevana: n ce msur obiectivele programelor sunt relevante vis--vis de nevoile i prioritile la nivel naional i comunitar?
Eficacitatea: ct de realist este programul n atingerea obiectivului global i a celor specifice pn n 2015 sau mai devreme?
Eficiena: ct de bine sunt alocate resursele din punct de vedere al realizrilor i rezultatelor?
Consistena i Coerena: dac obiectivele propuse se coreleaz logic cu analiza socio-economic, sunt consistente i n concordan cu obiectivele politicii de Coeziune i interveniile naionale i comunitare (ex. Strategia Lisabona)?
Utilitate: efectele preconizate sunt realiste i satisfctoare n contextul nevoilor sociale, economice i de mediu existente? Sustenabilitate: rezultatele obinute prin implementarea programului se vor menine dup implementarea programului, fr finanare suplimentar? Sistemul de management i monitorizare: contribuie la atingerea obiectivului programului i la obinerea unor rezultate pozitive?
n ceea ce privete indicatorii, s-a analizat dac: acetia sunt suficient definii i cuantificai, conexiunea logic dintre indicatorii de realizare (output) i cei de rezultat este prezent n cazul tuturor axelor prioritare, iar sistemul instituional implicat n gestionarea indicatorilor este bine descris.
Criteriul de evaluare cel mai important n aceast etap este relevana.
4.2.4 Evalurile pe parcursul perioadei de implementare (continu)
In general, n timpul evalurii sunt avute n vedere cele 5 criterii de evaluare: relevana, eficacitatea, eficiena, impactul i utilitatea/sustenabilitatea (detali
Related Documents
