ОЦЕНКА ЭФФЕКТИВНОСТИ РЕАЛИЗАЦИИ ПРОГРАММ РАЗВИТИЯ НАЦИОНАЛЬНЫХ ИССЛЕДОВАТЕЛЬСКИХ УНИВЕРСИТЕТОВ Третья ежегодная научно-практическая конференция «Информационные бизнес системы» Анатолий Симкин Магистрант 2-го года обучения: УК ФИБС МФТИ САУ ИУ МГТУ им. Баумана 23 апреля 2011
28
Embed
Математическая модель системы оценки эффективности реализации программ развития НИУ
This document is posted to help you gain knowledge. Please leave a comment to let me know what you think about it! Share it to your friends and learn new things together.
Transcript
ОЦЕНКА ЭФФЕКТИВНОСТИ РЕАЛИЗАЦИИ
ПРОГРАММ РАЗВИТИЯ НАЦИОНАЛЬНЫХ
ИССЛЕДОВАТЕЛЬСКИХ УНИВЕРСИТЕТОВ
Третья ежегодная научно-практическая конференция
«Информационные бизнес системы»
Анатолий Симкин
Магистрант 2-го года обучения:
УК ФИБС МФТИ
САУ ИУ МГТУ им. Баумана
23 апреля 2011
Содержание
1
2
3
Область и предмет исследования
Текущая ситуация
Математическая модель
2
4 Анализ чувствительности
5 Результаты
Задачи исследования предметной области (1/3)
3
Управление
организационной
системой
ИАС для
поддержки
принятия решений
и представления
отчетности
ВУЗ как социально-
экономическая
система
Анализ применения в
рамках процесса:
• Реализация программы
развития НИУ
• Оценка программ вузов
1. Анализ методов
мониторинга и оценки
эффективности программ
Ограничения:
Исследование предметной области управления по показателям
в вузе посредством информационных систем
Задачи исследования предметной области (2/3)
4
Управление
организационной
системой
ИАС для
поддержки
принятия решений
и представления
отчетности
ВУЗ как социально-
экономическая
система
2. Анализ методов
построения структуры
показателей
Анализ применения в
рамках процессов:
• Оценка программ
• Практика образования
Исследование предметной области управления по показателям
в вузе посредством информационных систем
Ограничения:
Задачи исследования предметной области (3/3)
5
Управление
организационной
системой
ИАС для
поддержки
принятия решений
и представления
отчетности
ВУЗ как социально-
экономическая
система
3.1. Сравнительный анализ
существующих систем
мониторинга
(конкурентов)
3.2. Сравнение
технологических
характеристик
Анализ применения в
рамках процессов:
• Оценка эффективности
программы развития НИУ
• Сбор и представление
отчетности
Ограничения:
Исследование предметной области управления по показателям
в вузе посредством информационных систем
Задачи исследования предметной области
6
Управление
организационной
системой
ИАС для
поддержки
принятия решений
и представления
отчетности
ВУЗ как социально-
экономическая
система
1. Анализ методов
мониторинга и оценки
эффективности программ
2. Анализ методов
построения структуры
показателей
3.1. Сравнительный анализ
существующих систем
мониторинга
(конкурентов)
3.2. Сравнение
технологических
характеристик
Области исследования
7
Управление
организационной
системой
ИАС для
поддержки
принятия решений
и представления
отчетности
ВУЗ как социально-
экономическая
система
1. Оценка
эффективности
реализации
программ
2. Организационное
взаимодействие
в ходе сбора
показателей
3. Мониторинг
основной
деятельности вуза
Анализ метода построения оценки эффективности
реализации программы развития НИУ
8
Высшее
учебное
заведение
Национальный
фонд подготовки
кадров
1 2 3 4 5 43 44 45 46...
1.1 1.2 1.3 1.4 2.1 5.1 5.2 5.3 5.4
...
6 7 8 9 10
21 Показатель
эффективности
реализации
программы развития
НИУ
46 Показателей
программы реализации
НИУ
Программа
НИУ
BSC НИУ
Финансовые показатели
Внешнее окружение и отношение
с клиентами
Внутренние процессы
деятельности
Инновации и развитие
Показатели успешности образовательной
деятельности
Показатели результативности научно-
инновационной деятельности
Показатели развития кадрового потенциала
Показатели международного признания
Показатели финансовой устойчивости
Опережающие
Отложенные
38%
62%
Оценка эффективности реализации программ
9
Проблема оценки
эффективности
финансирования программ
Задача:
Анализ и совершенствование модели системы
оценки эффективности реализации программ
развития национальных исследовательских
университетов
Недостатки (при оценки эффективности):
1. Невозможность адекватной оценки при
самостоятельной установке плановых
показателей по программе развития
2. Методы программно-целевого планирования,
БОР не работают
Решение:
Измерение относительно друг друга
10
1. Анализ данных структуры показателей
оценки эффективности реализации
программы развития НИУ
2. Построение модели рейтинга НИУ как
отклонение от среднего по группе
3. Проведение анализа чувствительности
вариантов моделей рейтинга НИУ
4. Разработка метода экспертной оценки
эффективности реализации программ
развития НИУ
Задача
Анализ и совершенствование модели системы оценки
эффективности реализации программ развития НИУ
1. Анализ метода построения структуры
показателей оценки эффективности
реализации программы развития НИУ
2. Вариации модели рейтинга НИУ как
отклонение от среднего по группе
3. Анализ чувствительности вариантов
моделей рейтинга НИУ
4. Метод экспертной оценки
эффективности реализации программ
развития НИУ
Результат
RSP
1,2 U1,2 ,K =F Sp ik l
1,2 =f pij1,2
RSF
1,2 U1,2 ,K =F Sfik l
1,2 =f fij1,2
RS1,2 U1,2 ,K =RSP
1,2 U1,2 ,K +RSF
1,2 U1,2 ,K
Бальная оценка НИУ по достигнутым
показателям
1.1. "Доля обучающихся в НИУ по ПНР НИУ в общем числе обучающихся"
98%
100%
102%
104%
106%
108%
110%
50% 60% 70% 80% 90% 100% 110% 120% 130% 140% 150%
Отклонение плановых значений показателей от среднего значения (100%) по сети НИУ в целом
Степ
ен
ь в
ып
ол
нен
ия
пл
ан
а
4
2 1
3
МГТУ
ННГУ
БелГУ
КГТУ1
СПбГПУ
ПГУ
ЮУРГУ
ЛИТМО
СГУ
ПГТУ
МФТИ МГСУ
СГАУ
МАИ
ТПУ
СПбГГИ
МИЭТ
МЭИ
НГУ
ВШЭ
ТГУ
РГМУ
КГТУ2
ИрГТУ
НОЦ МордГУ
МИСиС
МИФИ
ср. 72% ср.1оч. 77%
РГУНиГ
43 % 51 % 58 % 65 % 72% 80% 87% 94% 101%
Математическая модель
0a. 29 вузов (2 группы), 21 показатель
0b. Для плана и факта показателей имеем
1. Вычисляется среднее значение по группе
11
U2 = ui2 , n ∈ 1,15
U1 = um1 m ∈ 1,14
K = kl , l ∈ 1,21
P1 U1, K = pij
1 , i ≡ m ∈ 1,14 , j ≡ l ∈ 1,21
P2 U2, K = pij2 , i ≡ n ∈ 1,15 , j ≡ l ∈ 1,21
𝑃𝑘𝑙
1 =1
𝑀 𝑝𝑖𝑘𝑙
1
𝑀
𝑖=1
,𝑀 = max 𝑚 ∈ 1,14
𝑃𝑘𝑙2 =
1
𝑁 𝑝𝑖𝑘𝑙
2
𝑁
𝑖=1
,𝑁 = max 𝑛 ∈ 1,15
Математическая модель
●
12
Pk l
1 =1
M pik l
1
M
i=1
, M=max m∈ 1,14
Pk l
2 =1
N pik l
2
N
i=1
, N=max n∈ 1,15
σPk l
1 = pik l
1
Pk l
1 =
M∙pik l
1
pik l
1Mi=1
σPk l2 =
pik l
2
Pk l
1 =
M∙pik l
2
pik l
2Mi=1
Математическая модель
●
13
SPk l
1,2 = Spik l
1,2 =
σpik l
1,2
maxi=m,n
σpik l
1,2 ∙5, σPk l
1,2 <0
-min
i=m,nσpik l
1,2
σpik l
1,2 ∙5, σPk l
1,2≥0
RSP
1,2 U1,2 ,K =F Spik l
1,2 =f pij1,2
RSF
1,2 U1,2 ,K =F Sfik l
1,2 =f fij1,2
Вариации и развитие модели оценки
эффективности
14
1. Бальная оценка НИУ по достигнутым
показателям
RS1,2 U1,2 ,K =RSP
1,2 U1,2 ,K +RSF
1,2 U1,2 ,K
2. Рейтинг финансирования по
комплементарным программам
RSH
1,2 U1,2 ,H =F Sh ikv1,2 =f hij
1,2
3. Полная бальная оценка (Бальная
оценка + Финансирование)
RS1,2 U1,2 ,K,H =RSP
1,2 U1,2 ,K +RSF
1,2 U1,2 ,K +RSH
1,2 U1,2 ,H
4. Бальный рейтинг по показателям
категории "А" в целом
5. Бальный рейтинг (Категория "А" +
Финансирование)
6. Бальный весовой рейтинг (Категория
"А" + Финансирование)
RS1,2 U1,2 ,KА =RSP
1,2 U1,2 ,KА +RSF
1,2 U1,2 ,KА
RS1,2 U1,2 ,KА,H =RSP
1,2 U1,2 ,KА +RSF
1,2 U1,2 ,KА +RSH
1,2 U1,2 ,H
RSw
1,2 U1,2 ,KА,H =wSP∙RSP
1,2 U1,2 ,KА +wSP∙RSF
1,2 U1,2 ,KА +
+wSH∙RSH
1,2 U1,2 ,H , 0≤wi≤1; wi =1
7. Рейтинг по показателям категории "А"
в целом (штрафные баллы)
8. Бальный рейтинг 2 (Категория "А"
штраф + Финансирование)
R'S1,2 U1,2 ,KА =R'SP
1,2 U1,2 ,KА +R'SF
1,2 U1,2 ,KА
R'S1,2 U1,2 ,KА,H =R'SP
1,2 U1,2 ,KА +R'SF
1,2 U1,2 ,KА +RSH
1,2 U1,2 ,H
Бальная оценка НИУ по достигнутым
показателям
15
1.1. "Доля обучающихся в НИУ по ПНР НИУ в общем числе обучающихся"
98%
100%
102%
104%
106%
108%
110%
50% 60% 70% 80% 90% 100% 110% 120% 130% 140% 150%
Отклонение плановых значений показателей от среднего значения (100%) по сети НИУ в целом
Степ
ен
ь в
ып
ол
нен
ия
пл
ан
а
4
2 1
3
МГТУ
ННГУ
БелГУ
КГТУ1
СПбГПУ
ПГУ
ЮУРГУ
ЛИТМО
СГУ
ПГТУ
МФТИ МГСУ
СГАУ
МАИ
ТПУ
СПбГГИ
МИЭТ
МЭИ
НГУ
ВШЭ
ТГУ
РГМУ
КГТУ2
ИрГТУ
НОЦ МордГУ
МИСиС
МИФИ
ср. 72% ср.1оч. 77%
РГУНиГ
43 % 51 % 58 % 65 % 72% 80% 87% 94% 101%
Rσ1,2 Pm,n
1,2 ,Fm,n1,2 =f σPm,n
1,2,σFm,n
1,2 ∙100%
График функции 𝑅𝜎1,2 𝑃𝑚 ,𝑛
1,2 ,𝐹𝑚 ,𝑛1,2 изображается на графике, где по осям
располагаются значения:
отклонение плановых значений от среднего значения 𝑃𝑚 ,𝑛1,2
;
степень выполнения плана 𝐹𝑚 ,𝑛1,2
.
16
1. Анализ данных структуры показателей
оценки эффективности реализации
программы развития НИУ
2. Построение модели рейтинга НИУ как
отклонение от среднего по группе
3. Проведение анализа чувствительности
вариантов моделей рейтинга НИУ
4. Разработка метода экспертной оценки
эффективности реализации программ
развития НИУ
Задача
Анализ и совершенствование модели системы оценки
эффективности реализации программ развития НИУ
1. Анализ метода построения структуры
показателей оценки эффективности
реализации программы развития НИУ
2. Вариации модели рейтинга НИУ как
отклонение от среднего по группе
3. Анализ чувствительности вариантов
моделей рейтинга НИУ
4. Метод экспертной оценки
эффективности реализации программ
развития НИУ
Результат
Баллы Место Баллы Место Баллы Место Баллы Место Баллы Место