Warszawa, 19 lutego 2015 r. Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego w ramach EOG Ewaluacja budżetów partycypacyjnych Rafał Rudnicki
Warszawa, 19 lutego 2015 r. Projekt realizowany w ramach programu Obywatele dla Demokracji, finansowanego w ramach EOG
Ewaluacja budżetów partycypacyjnych
Rafał Rudnicki
2
Plan pracy
1. Wstęp 2. Przygotowanie do ewaluacji
• Po co robić ewaluacje? • Kto może przeprowadzić ewaluacje? • Kiedy zacząć ewaluacje?
3. Przeprowadzenie ewaluacji • Krok 1. Zrozumienie programu i jego celów • Krok 2. Postawienie pytań badawczych • Krok 3. Stworzenie wskaźników • Krok 4. Przeprowadzenie badań
4. Konsumpcja wyników • Co zrobić z wynikami badań?
3
PRZYGOTOWANIE DO EWALUACJI
4
Po co robić ewaluację?
• Żeby pokazać efekt/wartość swojej pracy • Żeby mieć pewność, że nasza praca ma sens • Żeby przekonać innych, że BP ma sens
• Żeby wiedzieć jak prowadzić BP • Żeby dowiedzieć się, co warto w nim poprawić • Żeby projekt był lepszy, bardziej skuteczny, efektywny • Żeby się uczyć i rozwijać • Żeby wszyscy uczestnicy byli z niego zadowoleni
…aby poprawić proces na przyszłość
…aby zobaczyć czy osiągnęliśmy cele
5
Kto może przeprowadzić ewaluacje?
1. Zewnętrzni eksperci 2. Osoby koordynujące projekt 3. Miejscy aktywiści
4. Zespół ewaluacyjny
6
Kto może przeprowadzić ewaluacje?
Zewnętrzny ewaluator
Organizator procesu
Uczestnik procesu
Dystans do procesu Duży Mały Mały
Doświadczenie w realizacji badań Duża Mała Mała
Znajomość lokalnego kontekstu procesu
Mała
Duża
Duża
7
ZESPÓŁ EWALUACYJNY
W skład 12‐osobowego Zespołu weszli:
Miejscy aktywiści Przedstawiciele Urzędu Miasta Przedstawiciele Rad Dzielnic i Miasta Przedstawiciele mieszkańców Krakowa Ewaluatorzy z Fundacji PBIS „Stocznia”
8
ZADANIA ZESPOŁU EWALUACYJNEGO Zadania Zespołu Ewaluacyjnego:
Uzgodnienie oraz wybór kryteriów i pytań ewaluacyjnych.
Obserwacja, zbieranie informacji i bieżąca autoewaluacja realizowanych działań.
Nadzór nad realizowanymi badaniami ewaluacyjnymi
Interpretacja wyników badań. Praca nad rekomendacjami na przyszłość.
9
BP
Ewaluacja
Początek Koniec
Planowanie ewaluacji
Zbieranie informacji
Koniec / podsumowanie
Kiedy rozpocząć ewaluacje?
10
Kiedy rozpocząć ewaluacje? ETAPY REALIZACJI BO
akcja edukacyjna i kampania promocyjna
zgłaszanie przez mieszkańców propozycji
projektów
weryfikacja i opiniowanie propozycji projektów
głosowanie mieszkańców na projekty
DZIAŁANIA BADAWCZE
ogłoszenie projektów do realizacji
Warsztaty ewaluacyjne
z mieszkańcami
Analiza
danych zastanych: GUS, BO w innych m
iastach, dane z
weryfikacji w
niosków, złożone
projekty, dane z g
łosowania
Obserwacja spotkań
informacyjno‐ konsultacyjnych
Badanie
ankietow
e wnioskodawców
Warsztat Zespołu
Ewaluacyjnego
Warsztat Zespołu
Ewaluacyjnego
Warsztat Zespołu
Ewaluacyjnego
Warsztat Zespołu
Ewaluacyjnego
Sondaż telefoniczny
Wywiad grupowy z nieuczestniczącymi Warsztaty
ewaluacyjne z mieszkańcami
Ankiety z uczestnikami
spotkań konsultacyjnych + sprawozdania moderatorów
Warsztaty ewaluacyjne
z mieszkańcami
11
PRZYGOTOWANIE DO EWALUACJI
12
Zrozumienie programu i jego celów.
13
Postawienie pytań badawczych
Przykładowe pytania badawcze: Jak ie było za interesowanie mieszkańców
z g ł a s z a n i e m p r o j e k t ó w d o B u d ż e t u Partycypacyjnego?
Kto zgłaszał projekty? Czy grupa ta jest reprezentatywna? Kto w niej nie uczestniczył?
W jaki sposób powstawały projekty? Jakie były przyczyny nie złożenia projektów? Jakiego typu projekty zostały zgłoszone? Jak procedurę składania projektów oceniają
wnioskodawcy?
14
Stworzenie wskaźników
Określamy wskaźniki oraz kryteria oceny
Dobrze jest znaleźć zewnętrzne punkty odniesienia, które ułatwią nam ocenę naszego procesu i jego skuteczności
Przykład: 1. Standardy procesów budżetów
partycypacyjnych w Polsce (ocena organizacji procesu)
2. Podobne procesy realizowane w innych miejscach (ocena rezultatów)
15
Ocena przebiegu procesu
Standardy minimalne BP BO w Krakowie
Wykorzystano różnorodne kanały komunikacyjne i formy materiałów informacyjnych
Tak. W promocji wykorzystano reklamę zewnętrzną (plakaty, ulotki, billboardy, citylighty), prasę, Internet, ulotki.
Do animowania dyskusji włączone zostały organizacje pozarządowe i rady pomocnicze gminy
Tak. Spotkania prowadzili moderatorzy wywodzący się z NGO oraz radni dzielnic.
Weryfikacja projektów ma wyłącznie charakter technicznie‐prawny
Nie. W praktyce w weryfikacji stosowano również ocenę wartości projektu przez urzędnika
16
Ocena skutków realizacji
Miasto Liczba złożonych
wniosków
Liczba złożonych wniosków na 10 tysięcy uprawnionych
mieszkańców
Łódź 871 12
Kraków 657 10
Wrocław 481 10
Gdańsk 180 5
Poznań 127 3
17
Przykładowe wskaźniki
% mieszkańców deklarujących w badaniu ankietowym, dobrą znajomość procedur BP
% głosów nieważnych w głosowaniu % projektów odrzuconych w trakcie weryfikacji ze względów formalnych
Mieszkańcy znają procedury BP (wiedzą jak głosować, składać wnioski)
Mieszkańcy angażują się w sprawy lokalne
Frekwencja wyborcza Liczba organizacji pozarządowych Liczba mieszkańców uczestniczących w konsultacjach społecznych Liczba obywatelski projektów uchwały zgłoszonych do rady miasta
18
Jak przeprowadzić badanie ewaluacyjne?
Metody Ilościowe odpowiadają na pytania o powszechność
zjawisk: jak często? Ile? Np. sondaż telefoniczny z mieszkańcami, samowypełnialna ankieta dla uczestników spotkania na którym dyskutowane są projekty, ankieta internetowa rozsyłana wnioskodawcom.
Jakościowe pozwalają na zrozumienie przyczyn zjawiska: dlaczego? Warsztaty/wywiady indywidualne z różnymi grupami uczestniczącymi w projekcie (mieszkańcami, urzędnikami z miejskich jednostek, radnymi itp.) Obserwacje. Dużo nieoczywistych czasem zabawowych metod badania opinii. Zaletą jest też niski koszt realizacji.
Analiza danych zastanych
19
METODOLOGIA BADANIA
Przykład zestaw metod badawczych:
Obserwacja spotkań informacyjno‐konsultacyjnych.
Otwarte warsztaty ewaluacyjne z mieszkańcami. Analiza danych zastanych Badanie ankietowe wnioskodawców Wywiad grupowy z mieszkańcami nie uczestniczącymi w procesie BO Sondaż telefoniczny z mieszkańcami
20
Analiza danych zastanych
17%
0%
5%
10%
15%
20%
25%
30%
0 2 4 6 8 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40 42 44 46 48 50 52 54 56 58 60 62 64 66 68 70 72 74 76 78 80 82 84 86 88 90 92 94 96 98
Frekwencja w BO ze względu na wiek
Frekwencja w grupach wiekowych Frekwencja w całej populacji
48 lat
21
Analiza danych zastanych
Frekwencja Aktywność w składaniu wniosków
22
Analiza danych zastanych
Stare Miasto
Grzegórzki
Prądnik Czerwony
Prądnik Biały
Krowodrza
Bronowice
Zwierzyniec Dębniki
Łagiewniki ‐Borek Fałęcki
Swoszowice
Podgórze Duchackie
Bieżanów Prokocim
Podgórze
Czyżyny
Mistrzejowice
Bieńczyce
Wzgórza Krzęsławickie
Nowa Huta
0%
2%
4%
6%
8%
10%
12%
14%
16%
18%
20%
0 2 4 6 8 10 12 14 16
Frekwen
cja w dzielnicy
Liczba wniosków dzielnicowych zgłoszonych na 10 tys. uprawnionych mieszkańców
23
Analiza danych zastanych
21%
78%
1%
Projekty odrzucone na etapie weryfikacji
Projekty zweryfikowane pozytywnie
Projekty wycofane przez wnioskodawce
7
9
12
19
0 5 10 15 20
Brak kalkulacji przewidywanych kosztów
Projekt inwestycyjny
Brak oświadczenia właściciela na
dysponowanie gruntem
Przekroczenie kwoty przeznaczonej na BO w
dzielnicy
24
Weryfikacja źródeł
76% 83%
69% 69% 70%
84% 78%
65%
78% 84%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Ogółem Mężczyźni Kobiety 15‐25 lat 25‐39 lat 40‐54 lat 55+ niższe niż średnie
średnie wyższe
Odsetek osób, które słyszały o BO w Gdyni
Wszystkie osoby biorące udział w badaniu sondażowym (n=300) Źródło: sondaż przeprowadzony na reprezentatywnej próbie mieszkańców Gdyni
25
Jakie metody można wykorzystać? Co mieszkańcom sprawiło trudność w trakcie tworzenia propozycji zadań (projektów)? • Wywiady z wnioskodawcami • Wywiady z osobami oceniającymi wnioski • Analiza uzasadnień odrzucenia wniosków na etapie weryfikacji
W jakim stopniu mieszkańcy dzięki BP spotykają się i rozmawiają o lokalnych potrzebach?
• Analiza frekwencji na spotkaniach w dzielnicach • Analiza sprawozdań moderatorów spotkań • Obserwacja przebiegu spotkań w dzielnicach • Monitoring prasy/Internetu pod kątem spotkań/dyskusji
organizowanych przez organizacje społeczne • Ankieta z mieszkańcami
26
KONSUMPCJA WYNIKÓW
27
Co zrobić z wynikami badania?
Jak wprowadzać zmiany? Zmiana kursu – żaglówka czy tankowiec?
Kto jest „właścicielem” wniosków z badania? Materiał zewnętrzny czy wewnętrzny organizatora procesu?
28
Przykładowe wnioski i rekomendacje
Duży udział projektów zweryfikowanych negatywnie wśród wszystkich zgłoszonych projektów
Większe wsparcie merytoryczne wnioskodawców przez UMK na wcześniejszych etapach procesu
Brak możliwości odwołania się od decyzji podjętych przez podmioty weryfikujące projekty
Wprowadzenie do przyjętego modelu BO mechanizmu odwołania od decyzji o odrzuceniu wniosku na etapie weryfikacji
Nieskuteczny kontakt urzędników z osobami, które zgłosiły wnioski w celu ich modyfikacji
Wprowadzenie możliwość składania wniosku przez grupę osób lub wpisania w formularz drugiej osoby do kontaktu po stronie wnioskodawcy
Wydłużenie czasu na wprowadzenie zmian przez wnioskodawcę
Arbitralność weryfikacji dokonywanej przez miejskiej instytucje
Ścisłe przestrzeganie przez podmioty weryfikujące projekty określonych w regulaminie kryteriów oceny.
Brak przejrzystości procedury weryfikacji
Upublicznienie informacji, jaki podmiot zweryfikował projekt
Brak wiedzy o kryteriach weryfikacji dla część wnioskodawców
Umieszczenie na stronie internetowej kryteriów wraz z ich opisem
29
PYTANIA I WĄTPLIWOŚCI
30
Film…
hpps://www.youtube.com/watch?v=R7cbicqQSZo
Dziękuję za uwagę!
Rafał Rudnicki Pracownia Badań i Innowacji Społecznych „Stocznia” [email protected]