МОДЕЛЬ ЕКСПЕРТНОГО ОЦІНЮВАННЯ РЕЗУЛЬТАТІВ ПЕДАГОГІЧНИХ ДОСЛІДЖЕНЬ
Анотація
Актуальність: в умовах стрімкого розвитку науково-технічного прогресу виникла нагальна потреба у використанні експертного оцінювання в педагогічних дослідженнях, що є дієвим інструментом для встановлення впливу розроблених інновацій на здобувачів вищої освіти та освітній процес в цілому.
Мета: експериментальна перевірка авторської моделі експертного оцінювання результатів педагогічних дослідженнь.
Методи: теоретичні; емпіричні: праксиметричні, опитувально-діагностичні, самооцінювання й експертного оцінювання; математичні та статистичні.
Результати: на підставі теоретичного аналізу виокремлено низку факторів, які ускладнюють процес наукового пошуку; обґрунтовано потребу в підвищенні якості педагогічних досліджень; підтверджено необхідність застосування експертного оцінювання в педагогічних дослідженнях, як одного із дієвих інструментів для визначення можливого впливу розроблених інновацій на здобувачів вищої освіти та освітній процес в цілому; створена модель відтворює загальний послідовний процес проведення дослідження, але дозволяє досліднику самостійно вибирати варіанти її застосування, в залежності від унікальних особливостей його конкретного дослідження; продемонстровано дієвість моделі на прикладі визначення значущості запропонованих інновацій щодо вдосконалення підготовки фахівців зі спеціальності «Технології захисту навколишнього середовища»; до експериментального дослідження залучено 54 експерти, з яких 22 доктора та 25 кандидатів наук; завдяки використанню низки статистичних критеріїв під час експертного оцінювання запропонованих інновацій, спрямованих на вдосконалення підготовки фахівців у галузі «Технології захисту навколишнього середовища», встановлено дотримання запропонованим інновацій дидактичним, інформаційним і науково-технічних вимогам, а також їхню готовність до апробації в реальних умовах освітнього процесу, що є і перспективами подальших наукових пошуків.
Висновки: у процесі проведеного дослідження було здійснено кількісне оцінювання компетентності експертів; з’ясовано, що середнє значення коефіцієнта становило 0,79 і перевищило його нормативне значення (0,67), що свідчить про достатній рівень кваліфікації експертів для оцінювання інновацій; всі залучені експерти позитивно оцінили оновлену освітню програму підготовки фахівців зі спеціальності «Технології захисту навколишнього середовища», а за розрахованим значенням коефіцієнту варіації 8,45% < 10% (дуже високий ступінь згоди думок експертів), цю оцінку можна вважати достовірною, а думки експертів – узгодженими.
Ключові слова
педагогічне дослідження, інновації, експертне оцінювання, модель, освітнє середовище
Біографія автора
Віталіна Пугач
кандидат педагогічних наук, доцент, доцент кафедри правознавства і гуманітарних дисциплін, Вінницького навчально-наукового інституту економіки, Західноукраїнського національного університету, https://orcid.org/0000-0002-1653-7473, e-mail: pugach.vitalina@gmail.com
Олександр Кобилянський
Доктор педагогічних наук, професор, завідувач кафедри безпеки життєдіяльності та педагогіки безпеки факультету інформаційних технологій та комп’ютерної інженерії, ВНТУ, http://orcid.org/0000-0002−9724-1470, e-mail: akobilanskiy@gmail.com
Софія Дембіцька
доктор педагогічних наук, професор, професор кафедри безпеки життєдіяльності та педагогіки безпеки факультету інформаційних технологій та комп’ютерної інженерії, ВНТУ, http://orcid.org/0000-0002-2005-6744, e-mail: sofiyadem13@gmail.com
Ірина Кобилянська
кандидат педагогічних наук, доцент, доцент кафедри безпеки життєдіяльності та педагогіки безпеки Вінницького національного технічного університету, https://orcid.org/0000-0002-3430-5879, e-mail: irishakobilanska@gmail.com
Посилання
- Грабовецький, Б. Є. (2010). Методи експертних оцінок: теорія, методологія, напрямки використання: монографія. Вінниця: ВНТУ.
- Корченко, О. Г., Горніцька, Д. А., & Захарчук, Т. Р. (2010). Дослідження методів апріорної оцінки якості експерта для реалізації експертиз у сфері інформаційної безпеки. Захист інформації, 4, 53–60.
- Леонов, В. В., & Ворович, Б. О. (2014). Методика оцінки компетентності експертів у процесі розробки пропозицій до програмних документів. Збірник наукових праць Центру воєнно-стратегічних досліджень Національного університету оборони України імені Івана Черняховського, 3, 13–18.
- Подолянчук, С. В. (2014). Визначення компетентності експертів з оцінювання наукової діяльності у вищому педагогічному навчальному закладі. Теорія і практика управління соціальними системами: філософія, психологія, педагогіка, соціологія, 4, 112–122.
- Яшкіна, О. І. (2013). Статистичні інструменти визначення узгодженості думок експертів в маркетингових дослідженнях. Економічний вісник Національного технічного університету України «Київський політехнічний інститут», 10, 442–449.
- Cleaver, E., Lintern, M., & McLinden, M. (2014). Teaching and Learning in Higher Education: Disciplinary Approaches to Educational Enquiry. London: Sage.
- Cotton, D. R. E., Miller, W., & Kneale, P. (2018). The Cinderella of Academia: Is Higher Education Pedagogic Research Undervalued in UK Research Assessment? Studies in Higher Education, 43 (9), 1625–1636.
- Dembitska, S., & Kobylianskyi, O. (2022). Formation of work safety culture of the technical specialists. Professional Pedagogics, 2(25), 138-146. https://doi.org/10.32835/2707-3092.2022.25.138-146.
- Dembitska, S., Kobylianskyi, O., & Puhach S. (2022). Improvement of professional training of technical specialists according to requirements of integration methodological approach. Нова педагогічна думка, 3 (111), 14-23.
- Evans, C., Howson, C. K., & Forsythe, A. (2018). Making Sense of Learning Gain in Higher Education. Higher Education Pedagogies, 3 (1), 1–45.
- Evans, C., Zhu, X., Winstone, N., Balloo, K., Hughes, A., & Bright, C. (2019). Maximising Student Success through the Development of Self-Regulation. Addressing Barriers to Student Success, Office for Students’ Final Report. Southampton: University of Southampton with Office for Students, UK.
- Ferretti, F., Pereira, Â. G., Vértesy, D., & Hardeman, S. (2018). Research Excellence Indicators; Time to Reimagine the Making Of’? Science and Public Policy, 45 (5), 731–741.
- Kaynardağ, A. Y. (2019). Pedagogy in HE: Does It Matter? Studies in Higher Education, 44 (1), 111–119.
- Kuzmenko, О., Dembitska, S., Miastkovska, M., Savchenko, I., & Demianenko, V. (2023). Onto-oriented Information Systems for Teaching Physics and Technical Disciplines by STEM-environment. International Journal of Engineering Pedagogy (iJEP), 13(2), 139–146. https://doi.org/10.3991/ijep.v13i2.36245.
- Wood, P., & O’Leary, M. (2019). Moving beyond Teaching Excellence: Developing a Different Narrative for Britain’s Higher Education Sector. International Journal of Comparative Education and Development, 21 (2), 112-26.
- Переклад і транслітерація
- Hrabovetskyi, B. Ye. (2010). Metody ekspertnykh otsinok: teoriia, metodolohiia, napriamky vykorystannia [Methods of expert assessments: theory, methodology, areas of use]: monohrafiia. Vinnytsia: VNTU, [in Ukrainian].
- Korchenko, O. H., Hornitska, D. A., & Zakharchuk, T. R. (2010). Doslidzhennia metodiv apriornoi otsinky yakosti eksperta dlia realizatsii ekspertyz u sferi informatsiinoi bezpeky [Research on methods of a priori assessment of expert quality for the implementation of expertise in the field of information security]. Zakhyst informatsii [Information Protection], 4, 53–60, [in Ukrainian].
- Leonov, V. V., & Vorovych, B. O. (2014). Metodyka otsinky kompetentnosti ekspertiv u protsesi rozrobky propozytsii do prohramnykh dokumentiv [Methodology for assessing the competence of experts in the process of developing proposals for program documents]. Zbirnyk naukovykh prats Tsentru voienno-stratehichnykh doslidzhen Natsionalnoho universytetu oborony Ukrainy imeni Ivana Cherniakhovskoho [Collection of scientific works of the Center for Military and Strategic Studies of the Ivan Chernyakhovsky National Defense University of Ukraine], 3, 13–18, [in Ukrainian].
- Podolianchuk, S. V. (2014). Vyznachennia kompetentnosti ekspertiv z otsiniuvannia naukovoi diialnosti u vyshchomu pedahohichnomu navchalnomu zakladi [Determining the competence of experts in evaluating scientific activity in a higher pedagogical educational institution]. Teoriia i praktyka upravlinnia sotsialnymy systemamy: filosofiia, psykholohiia, pedahohika, sotsiolohiia [Theory and Practice of Social Systems Management: Philosophy, Psychology, Pedagogy, Sociology], 4, 112–122, [in Ukrainian].
- Yashkina, O. I. (2013). Statystychni instrumenty vyznachennia uzghodzhenosti dumok ekspertiv v marketynhovykh doslidzhenniakh [Statistical Tools for Determining the Consistency of Experts’ Opinions in Marketing Research]. Ekonomichnyi visnyk Natsionalnoho tekhnichnoho universytetu Ukrainy «Kyivskyi politekhnichnyi instytut» [Economic Bulletin of the National Technical University of Ukraine “Kyiv Polytechnic Institute”], 10, 442–449, [in Ukrainian].
- Cleaver, E., Lintern, M., & McLinden, M. (2014). Teaching and Learning in Higher Education: Disciplinary Approaches to Educational Enquiry. London: Sage, [in English].
- Cotton, D. R. E., Miller, W., & Kneale, P. (2018). The Cinderella of Academia: Is Higher Education Pedagogic Research Undervalued in UK Research Assessment? Studies in Higher Education, 43 (9), 1625–1636, [in English].
- Dembitska, S., & Kobylianskyi, O. (2022). Formation of work safety culture of the technical specialists. Professional Pedagogics, 2(25), 138-146. https://doi.org/10.32835/2707-3092.2022.25.138-146, [in English].
- Dembitska, S., Kobylianskyi, O., & Puhach S. (2022). Improvement of professional training of technical specialists according to requirements of integration methodological approach. Нова педагогічна думка [New pedagogical thought], 3 (111), 14-23, [in English].
- Evans, C., Howson, C. K., & Forsythe, A. (2018). Making Sense of Learning Gain in Higher Education. Higher Education Pedagogies, 3 (1), 1–45, [in English].
- Evans, C., Zhu, X., Winstone, N., Balloo, K., Hughes, A., & Bright, C. (2019). Maximising Student Success through the Development of Self-Regulation. Addressing Barriers to Student Success, Office for Students’ Final Report. Southampton: University of Southampton with Office for Students, UK, [in English].
- Ferretti, F., Pereira, Â. G., Vértesy, D., & Hardeman, S. (2018). Research Excellence Indicators; Time to Reimagine the Making Of’? Science and Public Policy, 45 (5), 731–741, [in English].
- Kaynardağ, A. Y. (2019). Pedagogy in HE: Does It Matter? Studies in Higher Education, 44 (1), 111–119, [in English].
- Kuzmenko, О., Dembitska, S., Miastkovska, M., Savchenko, I., & Demianenko, V. (2023). Onto-oriented Information Systems for Teaching Physics and Technical Disciplines by STEM-environment. International Journal of Engineering Pedagogy (iJEP), 13(2), 139–146. https://doi.org/10.3991/ijep.v13i2.36245, [in English].
- Wood, P., & O’Leary, M. (2019). Moving beyond Teaching Excellence: Developing a Different Narrative for Britain’s Higher Education Sector. International Journal of Comparative Education and Development, 21 (2), 112-26, [in English].