Критический анализ практики оценки региональных программ в Казахстане

За последние годы тема оценки государственных программ получает все большее внимание в Казахстане. Была сформирована институциональная и правовая база оценки программ. Однако, обзор литературы свидетельствует о том, что были предприняты лишь малые попытки исследования практики оценки, в особенности на региональном уровне. Остается малоизученным то, насколько она эффективна и полезна. Для ответа на этот вопрос, безусловно, важно диагностировать и оценить саму систему оценки. Цель данной статьи – оценить качество практики оценки региональных программ в Казахстане. В статье использован инструмент метаоценки для понимания того, насколько действующая практика соответствует трем фундаментальным и признанным стандартам оценки: ценностное измерение, валидность и полезность. В качестве выборки использованы отчеты об оценке, составленные региональными Ревизионными комиссиями. Данное исследование является первой попыткой применения признанных стандартов оценки и стратегий метаоценки в казахстанском контексте. Ввиду этого, предполагалось, что могут иметь место некие расхождения со стандартами. Полученные результаты, подтвердив данную гипотезу, свидетельствуют о том, что оценка программ на региональном уровне значительно отстает от данных стандартов. Статья определила множество концептуальных и методологических проблем, которые серьезно подрывают валидность и обоснованность оценки региональных программ. Ожидается, что статья будет стимулировать дискуссии в академических и экспертных кругах. Более того, определив ключевые направления, требующие совершенствования, статья может помочь в реформировании сферы оценки и способствовать более качественной разработке политик и решений, тем самым экономя деньги налогоплательщиков и улучшая благополучие людей. В завершении статья выдвигает ряд рекомендаций по модернизации практики оценки.

1. Legal information system of Regulatory Legal Acts of the Republic of Kazakhstan (Adilet), (2020). https://adilet.zan.kz/

2. Akorda, (2020). The Address of the President of the President of the Republic of Kazakhstan at the government meeting [akorda. kz]. Official website of the President of Kazakhstan; 2020. [Updated January 24, 2020; cited November 2, 2021]. Available: https://www.akorda.kz/ru/speeches/internal_political_affairs/in_speeches_and_addresses/vystuplenie-prezidenta-kasym-zhomarta-tokaevana-rasshirennom-zasedanii-pravitelstva-respublikikazahstan.

3. Alibekova, B., Akimova, B. & Ahmetova A. (2019). The formation and current state of audit commissions in the system of state audit bodies. Statistics, accounting and audit, 1(72). 16-21.

4. Alibekova, G., Tayova, G. & Ilmaliyev, J. (2018). Evaluation issues of support programs of commercialization of scientific development in Kazakhstan. Complex use of mineral resources, 4(307). 181-191.

5. Aymagambetov, E. & Tyngisheva, A. (2019). Modern state of the healthcare system in Karaganda region. Karaganda University Bulletin, 2, 11-17.

6. Baimbetov, M. (2019). Implementation evaluation of state programs in the Republic of Kazakhstan. Bulletin of the Omsk Regional Institute, 3, 43-46.

7. Bopiyeva, Z. & Kazakova, T. (2009a). Kazakhstan’s experience in impact evaluation of state programs. Bulletin of Legislature Institute of the Republic of Kazakhstan, 2(14), 20-27.

8. Bopiyeva, Z. & Kazakova. T. (2009b). Ways of improving effectiveness of state programs. Bulletin of the Legislation Institute of the Republic of Kazakhstan, 4(16). 160-164.

9. Chelimsky, E. (1985). Comparing and contrasting auditing and evaluation: some notes on their relationship. Evaluation Review, 9(4), 483-503. https://doi.org/10.1177/0193841X8500900406.

10. Davidson, E. J. (2005). Evaluation methodology basics: The nuts and bolts of sound evaluation. Sage.

11. Dosayeva, A. (2019). Principles, approaches and features of state audit. Vestnik Bulletin of Turan University, 4(84), 149-154.

12. Fournier, D. M. (1995). Establishing evaluative conclusions: A distinction between general and working logic. New Directions for Evaluation, 1995(68), 15-32. https://doi.org/10.1002/ev.1017.

13. Gayfutdinova, V. (2017). Why development programs don’t work in Kazakhstan, [updated November 8, 2017; cited December 10, 2021]. Available: https://forbes.kz//process/expertise/pochemu_v_rk_ne_rabotayut_programmyi_razvitiya_ot_zarubejnyih_konsultantov/

14. Golafshani, N. (2003). Understanding reliability and validity in qualitative research. The qualitative report, 8(4), 597-607. https://doi.org/10.46743/2160-3715/2003.1870

15. Ho, J. Y., & Hendi, A. S. (2018). Recent trends in life expectancy across high income countries: retrospective observational study. Bmj, 362. https://doi.org/10.1136/bmj.k3622

16. Joint Committee on Standards for Educational Evaluation (2011). The program evaluation standards: a guide for evaluators and evaluation users.

17. Kaldiyarov, D. & Turgambekova, Z. (2019). Effective methods for designing and evaluation state program in the social sphere. Modern Science, 5(1), 107-109.

18. Kari, A. (2015). Methodological problems of implementation evaluation of strategic documents and programs in public management of economy in the Republic of Kazakhstan. Economics: the strategy and practice, 3(35).

19. Martens, K. S. (2018). Rubrics in program evaluation. Evaluation Journal of Australasia, 18(1), 21-44. https://doi.org/10.1177/1035719X17753961

20. Murzaliyeva, A. & Karshalova, A. (2018). State effectiveness audit of implementation of healthcare budget programs. Economic systems management: electronic journal, 4(110), 32.

21. Nygmetov, K. (2014). Strategy and program evaluation in the system of state planning in the Republic of Kazakhstan. Economics and management, 34(547), 95-102.

22. The Organization for Economic Cooperation and Development (OECD). OECD Ilibrary. (2021) [updated February 13, 2021; cited March 30, 2022]. Available: https://www.oecd-ilibrary.org/

23. Open Government, Magenta Book. Central Government guidance on evaluation, (2020). [updated 2020; cited March 30, 2022]. Available: https://assets.publishing.service.gov.uk/government/uploads/system/uploads/attachment_data/file/879438/HMT_Magenta_Book.pdf

24. Pokidayev, D. (2020). Who will be conducting evaluation of effectiveness of state programs [Kto zaymetsya otsenkoy effektivnosti kazahstanskih gosprogramm], [updated February 7, 2020; cited December 2021]. Available: https://kursiv.kz/news/obschestvo/2020-02/kto-zaymetsya-ocenkoyeffektivnosti-kazakhstanskikh-gosprogramm

25. Pritvorova, T. & Bektleyeva, D. (2017). Social effect evaluation methods in active labour market projects in Kazakhstan. Herald of Omsk University. Economics Series, 3(59). 201-210.

26. Rakhmatullayeva, D., Bobkov, V. & Jatkanbayev, E. (2015). Modelling of social effects of direct foreign investments in regions of Kazakhstan. Economy of Region, 2(42), 285-300.

27. Scott-Little, C., Hamann, M. S., & Jurs, S. G. (2002). Evaluations of after-school programs: A metaevaluation of methodologies and narrative synthesis of findings. American Journal of Evaluation, 23(4), 387-419. https://doi.org/10.1177/109821400202300403.

28. Scriven, M. (1991). Evaluation thesaurus (4th ed.). California: Sage Publications.

29. Scriven, M. (1995). The logic of evaluation and evaluation practice. New Directions for Evaluation, 1995(68), 49-70. https://doi.org/10.1002/ev.1019.

30. Shakirova, G., Sitenko, D. and Vasa, L. (2019). Effectiveness audit of public budget expenditures in the process of state audit. Karaganda University Bulletin, 7562, 263-274.

31. Stufflebeam, D. L., & Coryn, C. L. (2014). Evaluation theory, models, and applications (Vol. 50). John Wiley & Sons.

32. Vechkinzova, Y. (2008). Evaluation of implementation of state development programs in the Republic of Kazakhstan. Journal of New Economy, 1(20). 105-111.

33. Yessimova, S. (2009). Impact evaluation of state programs in the Republic of Kazakhstan. University Scientific papers, 3, 257-260.

34. Youker, B. & Ingraham, A. (2014). Goal-free evaluation: an orientation for foundations’ evaluations. The Foundation Review, 5(4). 51-61. https://doi.org/10.9707/1944-5660.1182