Měření kvality a výkonu činnosti veřejných knihoven Projekt „Benchmarking knihoven“

1

Měření kvality a výkonu činnosti veřejných knihoven

Projekt „Benchmarking knihoven“

CASLIN 200612. června 2006

Národní knihovna ČRvit.richter@nkp.czTel. 603 223 627

2

Hlavní témata

Proč měřit kvalitu činnosti knihovny?Drobné problémy měření výkonu a kvality v ČRCo je to „benchmarking“Měření výkonu knihoven v SRN – BIX–

BibliotheksindexProjekt „Benchmarking knihoven“

3

Knihovny pod dvojím tlakem

Uživatelé

Kvalitní službyNezájem o služby

Provozovatel

Efektivní využívání rozpočtu

Snižování rozpočtuZbytnost instituce

Knihovna

4

Knihovna musí:

Poskytovat kvalitní službyZískat kladné hodnocení od svých uživatelůProkázat, že knihovna je užitečnou a využívanou

institucíProkázat svou ekonomickou efektivnost

Jak měřit výkon a kvalitu svých služeb?Jak prokázat svou efektivnost?Jak a s čím se srovnávat?

5

Problémy měření výkonu a kvality

Ze statistických dat nelze vždy odvodit kvalitativní ukazatele Sbíráme velké množství statistických dat, ale to samo o sobě

nic nevypovídá o výkonu a kvalitěStatistický výkaz pro veřejné knihovny = 130 údajůChyběla obsluhovaná populace, ekonomické údaje

Statistická data knihoven nejsou veřejnáNelze provádět vzájemné srovnání knihoven stejné velikosti

a funkceZnáme pouze celostátní či krajské průměry

Nelze efektivně použít pro knihovny různých velikostí

6

Úskalí veřejných statistických dat

STATISTICKÁ DATA BY MĚLA BÝT VEŘEJNÁHospodaříme s veřejnými prostředky –

maximální průhlednostProvozovatel i veřejnost je informován, jak a k

čemu jsou peníze využity

ALE MÁME OBAVU:Výsledky měření výkonu mohou být zneužity

jako zbraň proti knihovně

7

2 metody srovnávání a měření

Porovnávání se „standardem nejlepší možné praxe“Metodicky pokyn MK - standard kvality poskytování

VKIS v ČRMezikrok k vzájemnému porovnávání mezi

knihovnami

Porovnávání s jinou knihovnou - benchmarking

8

Indikátory standardu VKIS

Provozní doba knihovny (hod./týden) Doplňování knihovního fondu (sv./rok) Výdaj na doplňování knihovního fondu (Kč/obyvatele) Počet veřejně přístupných stanic připojených

k internetu Studijní místa a prostory pro uživatele knihovny Obecné principy dostupnosti:

Rovný přístup Webová stránka + blind friendly Docházková vzdálenost Pobočky

9

Co je BENCHMARKING?

Benchmarking = Standard Značka zeměměřiče pro měření výšky Komparativní bod Porovnávací ukazatel

Srovnávání vlastní výkonnosti s nejlepší praxí Je to neustále pokračující činnost, která se snaží nalézt nejlepší

praktické postupy uvnitř knihovny a jejím smyslem je dosáhnout lepších výkonů ve vlastní knihovně

Poprvé použit v r. 1979 – Xerox Corporation Benchmarking – externí, interní, odvětvový, funkční

10

CO MY DĚLÁME?JAK TO MY DĚLÁME?JAK DOBŘE TO MY DĚLÁME?

CO DĚLAJÍ JINÍ?JAK TO DĚLAJÍ JINÍ?JAK DOBŘE TO JINÍ DĚLAJÍ?

PŘÍLEŽITOSTI A NÁMĚTY KE ZLEPŠOVÁNÍ

SROVNEJTEA UČTE SE

Co je BENCHMARKING?

Převzato: A. Plášková: Benchmarking. VŠE

11

Postup benchmarkinguAnalýza vlastních výkonů a situace

Nalézt knihovnu, která je nejlepší

Porovnat vlastní situaci, využít postupy a řešení

Měřit dosažené výsledky

Analýza nejlepšího, proč je úspěšný?

Benchmarking nekončí definování indikátorů nebo pouhým měřením!!!

12

Přínosy benchmarkingu

Definuje nejlepší výkonyPružná metoda pro srovnávání – možnost zjistit silné a

slabé stránkyDává včasné varování, pokud knihovna zaostáváPodporuje tvořivé uvažování o vnitřních procesechPodporuje inovační chováníPomáhá rozvíjet spolupráci, navázání nových

dynamických kontaktůV ČR používá: veřejná správa, sociální služby, ČD,

CzechInvest: Český benchmarkingový index

13

Omezení benchmarkingu

Každá knihovna pracuje v jiném kontextu – omezení vypovídací hodnoty zjištění

Sdílení strategických informací – může přinést problémy

Napodobování postupů nemusí vždy přinést úspěchNemusí se vždy podařit najít inspirativní partneryPokud má být benchmarking užitečný, musíme ho my i

celá knihovna vnímat jako něco užitečného – participace

14

Příklad využití benchmarkingu

http://www.bix-bibliotheksindex.de/

15

BIX – Bibliotheksindex Podporováno Berstelmannovou nadací Projekt trvá již 7 let, účast cca 245 knihoven BIX – Bibliotheksindex

Veřejné knihovny – 5 velikostních kategorií knihoven - (cca 200 knihoven) Vědecké (vysokoškolské) knihovny - (cca 45 knihoven)

Nejsou stanoveny standardy Provádí se vzájemné srovnání kvantitativních akvalitativních

parametrů, které dosahují konkrétní knihovny Určuje se pořadí knihoven – zjištěná data jsou převáděna na

indexy Vstup knihovny do projektu je dobrovolný ale placený 170,- EUR Každá knihovna vyplní dotazník: statistická data + slovní popis Poskytnutá data jsou veřejná - databáze

16

Bibliotheksindex pro veřejné knihovny

4 cílové dimenze, 17 indikátorůZákladní podmínky pro uspokojení požadavků

uživatelůOrientace na uživateleEkonomická efektivnostPracovníci knihovny

Přepočet hodnoty indikátoru na počet bodůKaždý indikátor má svůj váhový koeficientLze vypočítat celkový index a pořadí

17

Základní podmínky pro uspokojení požadavků uživatelů

Střed Maximum Minimum

Knihovní fond na obyvatele 2,4 4,5 1,4

Plocha m2 na 1000 obyvatel 46 97 12

Počet pracovníků na 1000 obyvatel 0,26 0,60 0,13

% obnovy knihovního fondu 11,2 34,5 5,5

Nabídka počítačů v hodinách na obyvatele 0,59 1,41 0,13

Internetové služby 3 6 0

Pro uspokojení oprávněných požadavků uživatelů jsou nezbytné určitézdroje. Zajištění těchto zdrojů je úkolem provozovatelů knihoven.

18

Orientace na uživatele

Střed Maximum Minimum

Počet návštěv na obyvatele 4,2 14,2 1,5

Počet výpůjček na obyvatele 9,2 17,6 4,5

Obrat knihovního fondu 4,1 7,0 2,0

Týdenní provozní doba pro veřejnost 23,4 42,0 6,7

Počet obslužných míst 1 3 1

Odpovídá nabídka médií a služeb přáním a požadavkům uživatelů? Vysokámíra využívání knihovny je závislá na tom, zda jsou posouzeny všechnyuživatelské potřeby.

19

Ekonomická efektivnost

Střed Maximum Minimum

Výdaj na nákup KF na výpůjčku 0,23 0,46 0,06

Počet pracovních hodin na jednu otevírací hodinu 4,1 9,7 1,7

Počet návštěv na jednu otevírací hodinu 35,3 105,5 7,6

Výdaje na jednu návštěvu (EUR) 4,29 8,57 1,39

Knihovny jako nevýdělečná zařízení nemohou pracovat na pokrytí svýchnákladů. Jsou ale povinny využívat všechny zdroje s maximální efektivností. Cílem je, aby veškeré vybavení a využívání zdrojů bylo ve vzájemné rovnováze se službami knihovny.

20

Pracovníci knihovny

Střed Maximum Minimum

Čistá pracovní kapacita knihovny 97,2 99,8 77,6

Procento pracovní kapacity věnované na zvyšování kvalifikace pracovníků 2,2 20,8 0,0

Míra fluktuace7,7 33,3 0,0

Pro plnění úkolů knihovny musí být k dispozici dostatečné množství kvalifikovaných pracovníků. Vysoká fluktuace, například na základě termínovaných úvazků nebo vysoký podíl důchodců způsobují růst nákladůna organizaci a zajištění činnosti.

21

22

23

24

Bibliotheksindex – vědecké knihovny

25

Cílová dimenze: NABÍDKA Plocha knihovny pro uživatele v m² na 1000 členů

obsluhované populace Počet zaměstnanců (úvazků) na 1000 členů obsluhované

populace Výdaje na literaturu a informační zdroje na 1000 členů

obsluhované populace Podíl výdajů na elektronické informační zdroje na celkových

nákladech na nákup inf. zdrojů Týdenní provozní doba

Obsluhovaná populace = studenti + vědecký personál, tj. profesoři a vědečtí pracovníci, ale nikoliv vědecké pomocné síly

26

Cílová dimenze: VYUŽÍVÁNÍ

Počet návštěv na člena obsluhované populacePočet virtuálních návštěv člena obsluhované

populacePočet hodin informační výchovy uživatelů na

1000 členů obsluhované populace% okamžitých výpůjček z celkového počtu

výpůjček (včetně rezervací a žádanek MVS)Podíl kladně vyřízených on-line dotazů

27

Cílová dimenze: EFEKTIVITA

Výdaje na registrovaného uživatelePoměr výdajů na nákup informačních zdrojů a

personálních nákladůPracovní produktivita (počet získaných

médií/počet pracovníků)

28

Cílová dimenze: ROZVOJ

Počet dní školení na jednoho pracovníkaPodíl výdajů na knihovnu na celkových výdajích

školyPodíl příjmů z vlastní činnosti a grantů na

celkových příjmech knihovnyPodíl pracovníků technického rozvoje a

elektronických sloužen na celkovém počtu pracovníků

29

Projekt „Benchmarking knihoven“ příprava, postup, výběr indikátorů

Garant projektu: Národní knihovna ČR

30

Cíle projektu

1. Vytvořit a testovat benchmarkingový systém pro hodnocení činnosti veřejných knihoven.

2. Pomoci veřejným knihovnám různých velikostních kategorií analyzovat metodou benchmarkingu vlastní výkony a porovnat je s jinými knihovnami a nalézt nejlepší způsoby řešení.

3. Efektivně využít existující statistická data 4. Ověřit možnost využití metody benchmarkingu pro

knihovny v oblasti zdravotnictví

Doba trvání projektu: Listopad 2005 – březen 2007

31

Hlavní kroky projektu – co jsme udělali?

Zjištění zájmu knihoven o projektZískání NIPOS pro spolupráci – grant z VISK3 Informační příprava projektu, elektronická konference

„Mereni“, webová stránka http://knihovnam.nkp.cz/sekce.php3?page=15_Vykon.htm

Vytvoření řídícího týmu projektuProškolení pracovního týmu projektu - seminář „Měření

výkonu knihoven“ – Goethe-InstitutPřijetí pravidel spolupráceKategorizace knihovenAnalýza statistických dat spolupracujících knihovenNávrh indikátorů

32

Co a kdy ještě musíme udělat?

Výběr indikátorů, definice indikátorů (ISO11620) 30.6.2006

Testování, výběr nejlepšího řešení, zpracování formulářů = data+komentáře 10.9.2006

Zadání pro vybudování databáze Benchmarking pro NIPOS 10.9.2006

Vytvoření a zprovoznění databáze Benchmarking 31.12.2006

Sběr dat, zpracování dat, analýza, výsledky, porovnávání 31.3.2007

Prezentace výstupů z projektu na odborných seminářích a v tisku 2007

Optimalizace indikátorů 2007…

33

Jaké zvolit velikostní kategorie?Základní východisko: kategorizace dle standardu VKIS

Smilovice u Třince (okr. FM) 612

Žabeň 606

Jarošov nad Nežárkou 1067

Hnojník 1427

Řepiště 1610

Volyně 3190

Paskov 3747

Vratimov 6554

Kaplice 7195

Sedlčany 7836

Bystřice pod Hostýnem 8727

Třeboň 8862

Říčany 11329

Rokycany 13826

Chodov 14454

Ústí nad Orlicí 15031

Slaný 15070

Jičín 16328

Žďár nad Sázavou 24030

Vsetín 28575

Šumperk 28768

Strakonice 34545

Třinec 38415

Třebíč 38785

Prostějov 47374

Jihlava 50100

Chomutov 50251

Děčín 52000

Opava 60252

Karviná 63677

Most 67905

Karlovy Vary 51807

Zlín 79177

HK 95195

Ústí nad Labem 94105

Plzeň 164180

Olomouc 101268

Brno 369559

Ostrava 313088

34

Kategorizace knihoven

Počet obyvatel obce

1 – 500

501 - 1 000

1 001 - 3 000

3 001 - 5 000

5 001 - 10 000

10 001 - 20 000

20 001 - 40 000

Více než 40 001

Krajská knihovna

Krajská knihovna s městskou funkcí

35

Jaké indikátory charakterizují výkon a kvalitu?

Indikátor musí být „zrcadlem“ kvality čí výkonu = validita

Indikátor musí být měřitelnýIndikátor musí být jednoznačně vymezenIndikátor musí být spolehlivý, ověřitelný - nízká míra

subjektivity Indikátor musí být praktický - měření nesmí být časově

a personálně náročnéIndikátor musí splnit očekávání knihovny i jejího

provozovatele

36

Kolik indikátorů vybrat? Indikátory by měly odpovídat stanoveným cílům Pokrýt celé spektrum služeb, vyloučit duplicity Zvolit indikátory, které mohou knihovny ovlivnit (obrat, pracovní

kapacita, provozní doba) Skupiny indikátorů – všeobecné podmínky pro činnost,

efektivita, hospodaření, služby, zaměstnanci, učení a růst, interní procesy, rozvoj… Společné indikátory Specifické indikátory pro různé typy a kategorie knihoven (velké a malé

knihovny, krajské knihovny, zdravotnické knihovny) Optimální počet 15 – 25

Indikátory uplatňované standardem VKIS Indikátory vycházející ze statistického výkazu – není nutno redukovat Další indikátory – problémy s měřením

37

Návrh indikátorů pro benchmarking

Druhé kolo návrhů: 30 indikátorů

Tři skupiny

Podmínky pro činnost knihovny: 9 indikátorůUživatelé, služby: 13 indikátorůFinancování - výdaje – efektivita: 9 indikátorů

38

Podmínky pro činnost knihovny

1) Objem knihovního fondu na 1000 obyvatel2) % obnovy knižního fondu3) Počet exemplářů docházejících periodik na registrovaného

uživatele4) Internetové služby: webová stránka, OPAC, interaktivní funkce,

soubor odkazů, virtuální informační služba, elektronické informační zdroje, pro-aktivní informační služby (email, SMS, newsletter)

5) Počet zaměstnanců (úvazků) na 1000 obyvatel6) Počet zaměstnanců (úvazků) na 1000 registrovaných čtenářů7) Počet internetových stanic na 1000 obyvatel8) Plocha knihovny pro uživatele v m² na 1000 obyvatel9) Počet studijních míst na 1000 obyvatel

39

Uživatelé - služby1. Registrovaní čtenáři – % z obsluhované populace2. Registrovaní čtenáři do 15 let – % z obsluhované populace

mládeže do 14 let3. Počet hodin pro veřejnost týdně4. Počet návštěv na jednoho obyvatele5. Počet virtuálních návštěv na obyvatele6. % návštěvníků internetu z obsluhované populace7. Počet výpůjček na jednoho obyvatele ???8. Počet výpůjček na registrovaného čtenáře9. Obrat knihovního fondu10. Doba zpřístupnění nového přírůstku11. Vzdělávací a výchovné kolektivní akce12. Semináře, odborné porady a konzultace13. Průzkum spokojenosti uživatelů

40

Financování - výdaje - efektivita

1. Podíl financování knihovny na rozpočtu obce2. Celkové výdaje v přepočtu na jednoho obyvatele3. Výdaje na nákup knihovního fondu na jednoho obyvatele4. Výdaj na nákup knihovního fondu na výpůjčku5. Výpůjčky na zaměstnance (pracovní úvazek)6. % čistých provozních nákladů (bez osobních nákladů a nákladů

na knihovní fond)7. % nákladů na pořízení knihovního fondu z celkových

provozních nákladů8. % osobních nákladů z celkových provozních nákladů9. Školení pro zaměstnance % z celkové pracovní kapacity

41

Dílčí problémy

Krajské knihovny – zvláštní kategorieKrajská knihovna s nebo bez městské funkceObsluhovaná populace: město – kraj, mládežPovinný výtisk, archivní funkce, % naučné literatury

Regionální funkce – redukce zjištěných údajůFinancování malých knihoven – nezjišťuje seDefinice indikátorů

Návštěvy – nepřesná definice, různé systémy evidenceMládež – statistický výkaz=15 let, ČSÚ=14 let

42

Proč měřit výkon: Když se neměří výsledky, potom není možné rozeznat úspěch

od neúspěchu

Když nelze rozeznat úspěch, potom není možné za něj odměnit

Když se neodměňuje úspěch, potom se pravděpodobně odměňuje neúspěch

Když se nerozpozná úspěch, potom se z něj není možné poučit

Když se nerozpozná neúspěch, potom není možné ho napravit

Když není možné seznámit veřejnost s výsledky, potom není možné získat podporu veřejnosti oproti tomu - co se dá měřit dá se i realizovat

43

Měření kvality a výkonu činnosti veřejných knihoven

Projekt „Benchmarking knihoven“

CASLIN 200612. června 2006

Národní knihovna ČRvit.richter@nkp.czTel. 603 223 627