КІЛЬКІСНЕ ОЦІНЮВАННЯ ЯКОСТІ ДИСЕРТАЦІЙНИХ РОБІТ

Запропонована система кількісного оцінювання якості виконаних дисертаційних робіт, що ґрунтується на встановленні їх рейтингу за певною множиною показників.

Предложена система количественного оценивания качества выполненных диссертационных работ, которое основывается на установлении их рейтинга по определенным множеством числом показателей.

The system of quantitative evaluation of quality of the executed dissertation works, which is based on establishment of their rating after the certain plural of indexes is offerred.

Експертиза дисертаційних робіт у тому вигляді, який прийнято зараз, має суб’єктивний характер. Рішення щодо відповідності чи невідповідності дисертації встановленим вимогам приймається таємним чи відкритим голосуванням членів експертної ради після доповіді одного експерта- доповідача (як виняток, двох чи трьох). Часто-густо прийняте рішення викликає невдоволення певної частини наукової громадськості, причому як при позитивній оцінці роботи, так і при негативній. Це породжує хвилю апеляцій, звернень до керівних органів держави тощо. Давно назріла потреба певної формалізації процесу оцінювання якості дисертаційних робіт, створення своєрідної системи підтримки прийняття рішень (СППР), яка б допомагала членам спеціалізованих вчених рад, експертам, членам президії ВАК приймати більш виважені й обґрунтовані рішення.

Система оцінювання не тільки може, але й є чинником, який реально інтегрує науково-навчальний комплекс підготовки спеціалістів вищої кваліфікації. Можна побудувати свою дуже цікаву модель підготовки кадрів, або дуже якісно й продуктивно проводити індивідуальну підготовку аспірантів, проте якщо не вирішити проблему оцінювання наукової праці у цій моделі, то доведеться оцінювати свою «нетрафаретну працю» трафаретним способом.

У будь-якій навчальній системі традиційна оцінка виконує три функції. По-перше, вона дає змогу порівняти навчальні (чи наукові) досягнення конкретного учня (здобувача) із деяким стандартом, ідеалом.

Систем оцінювання знань або конкретної наукової праці, зокрема, дисертації існує багато. Назвемо лише такі як тестування, критеріальне оцінювання, відкрита система з використанням мережі Інтернет тощо. На нашу думку, найбільш пристосованим до використання при експертизі дисертаційних робіт є рейтингове оцінювання.

Рейтинг - дослівно, у перекладі з англійської, - це оцінка, деяка числова характеристика якогось якісного поняття. Звичайно під рейтингом розуміють накопичувальну оцінку або оцінку, що враховує попередню. Різні автори по-своєму визначають рейтингову систему. У М.П.Батури,

A. В.Ломако, Л.Ю.Шиліна [1] - це «сукупність правил, методичних вказівок і відповідного математичного апарату, реалізованого у програмному комплексі, що забезпечує обробку інформації як за кількісним, так і за якісними показниками індивідуальної учбової діяльності студентів, дозволяє присвоїти персональний рейтинг (інтегральну оцінку, число) кожному студенту у розрізі будь-якої навчальної дисципліни, будь-якого виду занять, а також узагальнено за низкою дисциплін». У Л.І.Варенової, В.Ж.Кукліна,

B. Г.Наводнова [2] рейтинг - це «сума балів, набрана студентом протягом певного проміжку часу за визначеними правилами, які не змінюються протягом цього проміжку».

Показниками, які доцільно використати при рейтинговому оцінюванні дисертаційних робіт, можуть, на нашу думку, бути такі:

1. Відповідність базової повної вищої освіти спеціальності, за якою підготовлено дисертацію.

Отримання систематизованої повної вищої освіти за спеціальністю дисертації є, на нашу думку, запорукою того, що в дисертації будуть відсутні грубі помилки, характерні для дилетантських робіт. Після того, як в Україні встановиться загально визнана система рейтингового оцінювання вищих навчальних закладів, можна буде при оцінюванні відповідності базової освіти використовувати й рейтинг такого закладу.

2. Складання іспитів кандидатського мінімуму (враховуються оцінки, отримані на іспитах з іноземної мови, філософії науки, спеціальних дисциплін).

Повинні враховуватися як основні, так і додаткові іспити зі спеціальних дисциплін, визначених рішенням спеціалізованої вченої ради.

3. Публікація статей за результатами дисертаційних досліджень.

Одним із найважливіших показників, які можна застосувати у процесі оцінювання дисертаційної роботи, є опублікованість її основних результатів у наукових журналах та збірниках наукових праць. Нормативні документи ВАК передбачають виконання таких головних вимог до публікації результатів дисертаційних досліджень: 1) основні результати дослідження мають бути опубліковані; 2) при захисті докторської дисертації здобувач зобов’язаний опублікувати не менше двадцяти статей у виданнях, що входять до переліку фахових, а при захисті кандидатської - не менше трьох таких статей. Причому, як правило, під час аналізу відповідності тієї чи іншої дисертації вимогам ВАК виконання першої вимоги практично не перевіряють, концентруючись лише на кількості статей.

Головною метою публікації результатів наукової роботи є їх якнайширше оприлюднення у колі фахівців, які можуть оцінити як її переваги, так і недоліки. На жаль, більшість українських наукових журналів і майже всі збірники наукових праць не виконують цієї головної мети. Більшість журналів і збірників, занесених до переліків фахових видань ВАК, практично невідомі й недоступні читачеві. Але всі вони мають однаковий статус при атестації наукових кадрів, ніяк не пов'язаний із системою оцінки видань, що сформувалася у світі. При оцінюванні рівня опублікованості результатів дисертаційних досліджень використаємо класифікацію вітчизняних журналів, наведену в роботі [4]. Професор Р.О.Влох виділяє сім категорій періодичних наукових видань.

Категорія «А» - вітчизняні й зарубіжні журнали із визначеним імпакт-фактором.

Категорія «Б» - вітчизняні й зарубіжні журнали, занесені до переліку “Masters journal list” американського інституту наукової інформатики Томсона - ISI.

Категорія «В» - журнали, які перекладають і перевидають закордонні видавництва, але вони не мають встановленого імпакт-фактора і не внесені до “Masters journal list”. Купівля видання тим чи іншим авторитетним закордонним видавництвом, крім того, свідчить про комерційну та читацьку зацікавленість, сприяє також обробці цих видань ISI.

Категорія «Г» - журнали, які видаються в Україні англійською мовою без імпакт-фактора і не внесені до “Masters journal list”.

Категорія «Д» - журнали, збірники і вісники, які видаються в Україні українською або російською мовами і мають сумарний показник 20 ≤ N < 50. Ці видання не мають визначеного імпакт-фактора і не внесені до бази даних ISI.

Категорія «Е» - видання із низьким показником (N < 20).

Категорія «Є» - видання із сумарним нульовим показником.

Згаданий вище сумарний показник визначався Р.О.Влохом таким чином. Для оцінки видань були застосовані такі критерії:

1) Наявність відомостей про видання у базі даних ISI.

2) Відповідність виходу номерів видання задекларованим термінам. Цей критерій має юридичний характер і забезпечує достовірність представлених редколегією пріоритетних дат.

3) Наявність Інтернет-сторінки журналу з архівом англомовних анотацій статей (англомовна назва і анотація статті в Інтернеті дає змогу знайти статтю за допомогою пошукових програм).

4) Наявність Інтернет-сторінки журналу з архівом анотацій і статей українською та/або російською мовою. Виставлення повнотекстових статей у відкритому доступі спонукатиме авторів і редколегію відповідальніше ставитися до видання.

5) Реферування видання ВИНИТИ. Входження видання до бази даних ВИНИТИ, як найбільшого інституту наукової інформації на пострадянському просторі, розширює доступ до статей. Крім того, при введенні в базу даних цієї установи журнали рецензуються, що сприяє підвищенню якості статей, опублікованих у них.

6) Наявність Інтернет-сторінки з архівом повних текстів статей англійською мовою.

7) Можливість передплати видання через агентство ДП «Преса». Це єдиний критерій, який в умовах невизначеності імпакт-фактора журналу свідчить про економічну доцільність цього видання. Крім того, саме ДП «Преса» є най розгалуженішим і найрозвиненішим передплатним агентством в Україні, а оголошена через нього передплата є додатковим свідченням вчасного виходу видання.

8) Реферування видання вітчизняним журналом «Джерело», що сприяє доступу до анотацій статей у вітчизняному інформаційному просторі.

Ці критерії не є однаково вагомими, що враховано шляхом введення вагових коефіцієнтів. Показнику 1 надано коефіцієнт 50, бо введення видання у базу даних ISI (“Masters journal list”) свідчить про своєчасність виходу, комерційну доступність архіву статей та їх анотацій у мережі Інтернет, мовну доступність, наявність анотацій статей у базах даних реферативно- інформаційних установ тощо.

При присвоєнні рейтингу певній дисертаційній роботі не можна забувати й про перевірку наявності «покриття» опублікованими статтями всіх положень роботи, які задекларовані як нові й виносяться на захист.

4. Наявність авторських свідоцтв, патентів, свідоцтв на корисну модель, патентів на промисловий зразок, свідоцтв на програми для ЕОМ.

Цей показник можна застосовувати лише для дисертаційних робіт, тематика яких дає можливість отримання згаданих документів.

5. Участь у конференціях різного рівня із публікацією розгорнутих матеріалів.

Конференції проводяться у нашій країні та за кордоном досить часто і з будь-якого приводу, причому їх статус визначається досить довільно. У той же час успішна апробація роботи на солідній конференції із публікацією повного тексту доповіді у фаховому виданні є вагомим аргументом для позитивної оцінки дисертації.

6. Участь у конференціях різного рівня із публікацією тез доповідей.

Тези доповіді часто-густо адекватно не відбивають зміст доповіді, не дають змоги об’єктивно оцінити наукові здобутки її автора, але вони засвідчують сам факт участі дисертанта у тій чи іншій конференції.

7. Публікація статей в електронних наукових виданнях.

Поступово і для електронних наукових видань встановиться певна ієрархія. Тут не можна змішувати електронний варіант вже існуючого фахового видання із чисто електронним виданням.

8. Дипломи, почесні грамоти та інші заохочення, отримані на міжнародних та українських конкурсах наукових робіт, тематика яких відповідає темі дисертації, участь у наукових дослідженнях, що проводяться за грантами міжнародних організацій.

Таке визнання наукових досліджень науковою громадськістю не може не відбитися позитивно на оцінці відповідної дисертаційної роботи.

9. Впровадження результатів дисертаційного дослідження (підтверджене актами про впровадження).

Для кожної наукової спеціальності треба якомога більш чітко визначити вимоги до формальної фіксації факту впровадження результатів дисертаційного дослідження.

10. Рівень новизни виконаних досліджень.

За місцем отриманих знань у ряду відомих наукових даних можна виділити три рівні новизни [5]:

а) перетворення відомих даних, докорінна їх зміна;

б) розширення, доповнення відомих даних;

в) уточнення, конкретизація відомих даних, поширення відомих результатів на новий клас об’єктів, систем.

Рівень перетворення характеризується принципово новими в даній галузі знаннями, які не просто доповнюють відомі положення, а являють собою щось самостійне. Самоперевірку цього рівня можна здійснити, поставивши собі питання: "А що, ніхто ніколи цю задачу не вирішував?". На цьому рівні суттєво важливо розрізняти два варіанти новизни: дискусійно- гіпотетичну і загальновизнану. У першому випадку нові результати ще не досить доказові, не мають достатньої всебічної конкретизації і нерідко натрапляють на протидію, оскільки самі факти не піддаються новаторському науковому поясненню. Тому залишається сумнів щодо справедливості таких наукових ідей. Так було, наприклад, з геліоцентричною гіпотезою Дж.Бруно і М.Коперніка; можливо, що така сама ситуація спостерігається з телепатією та екстрасенсами. На етапі загальновизнаної новизни такий сумнів зникає (наприклад, він зник стосовно праць К.Е.Ціолковського, А.Ейнштейна).

На рівні доповнення новий результат розширює відомі теоретичні або практичні положення, додає до них нові елементи, доповнює знання в даній галузі без зміни їх сутності. Для формалізації оцінювання новизни можна також використати поняття об’єкту і предмету дослідження, які присутні у кожному авторефераті дисертації.

Об’єкт дослідження - це та частина матеріального світу, яка привернула увагу дослідника, наприклад, бетон, промислові ТЕЦ, апарати з киплячим шаром, вібраційні установки для сушіння і охолодження, деталі і вузли, що відновлюються і т.ін. Стосовно об’єкту дослідження здобувачеві необхідно усвідомити: об’єкт дослідження - новий (Н) чи традиційний (Т). Наприклад, діяльність космонавта, СНІД - це нові об’єкти дослідження, а вібраційні пристрої - традиційні об’єкти дослідження.

Предмет дослідження - це розглянутий в дисертації бік об’єкта дослідження, та його досліджувані якість і галузь використання, наприклад, стійкість бетону, економічність та екологічність ТЕЦ, режими роботи апаратів. Щодо предмета дослідження, то тут також треба вирішити те саме питання: предмет дослідження є новим чи традиційним. Можливі такі комбінації новизни предмета (П) і об’єкта (О) дослідження: а) НП-НО; б) НП-ТО; в) ТП-НО; г) ТП-ТО. Приклади цих ситуацій:

а) нетрадиційні методи лікування та профілактики СНІД;

б) техногенні наслідки експлуатації ТЕЦ;

в) ергономічний аналіз діяльності космонавтів;

г) стійкість бетону в промислових спорудах.

Для дисертацій випадок ТП-ТО є практично неприпустимим: або предмет, або об’єкт дослідження обов’язково має бути новим.

11. Результати голосування при захисті дисертації.

Цей показник особливих коментарів не потребує.

12. Наявність негативних відзивів на автореферат та дисертацію, негативних виступів при обговоренні дисертації.

Тут важливо виокремити чисто наукове підґрунтя негативних відзивів і виступів від можливого суб’єктивного підходу до оцінки не роботи, а особистості здобувача.

13. Відповідність наукової спеціалізації опонентів тематиці дисертації.

Офіційними опонентами на захисті дисертації мають призначатися лише фахівці за спеціальністю, які мають друковані наукові праці, максимально наближені за змістом до тематики дисертації. Формальне, нічим не обґрунтоване призначення офіційного опонента на підставі лише особистого знайомства зі здобувачем чи його науковим керівником має негативно вплинути на загальну оцінку дисертації.

14. Характеристика навчання в аспірантурі

Можливі різні варіанти навчання в аспірантурі, серед яких головними є такі: 1) очна аспірантура; 2) заочна аспірантура і робота в науковій установі чи ВНЗ за профілем дисертації; 3) заочна аспірантура і робота в науковій установі чи ВНЗ не за профілем дисертації; 4) так зване прикріплення здобувачем. Ясно, що ці форми підготовки дисертації суттєво відрізняються за своєю ефективністю. Крім того, важливим чинником є тривалість часу, який пройшов після закінчення аспірантури.

Спробуємо формалізувати процес надання числової оцінки названим показникам. Зрозуміло, що всі наведені нижче приклади мають умовний характер і підлягають прискіпливому обговоренню. Наші пропозиції зведені у табл. 1.

Таблиця 1. Кількісна оцінка якісних показників дисертаційної роботи

Продовження таблиці 1

Продовження таблиці 1

Продовження таблиці 1

Закінчення таблиці 1

* Категорії видань вказані за Р.Влохом [4], бали нараховуються за кожну статтю.

** За період навчання в аспірантурі чи докторантурі.

Крім того, у розпорядження експерта надаються 100 балів для докторської і 60 балів для кандидатської дисертації, котрі використовуються для оцінювання актуальності та практичної значущості теми дослідження, мови та стилю викладення матеріалу, вибору методів дослідження, обґрунтованості й достовірності висновків тощо.

Зауважимо, що розглянуті у даній статті питання носять дискусійний характер і до їх затвердження не можуть бути підставою для офіційного оцінювання якості дисертаційних досліджень.

Свої відгуки и пропозиції просимо надавати за електронною адресою: laponomarenko@ukr.net.

ЛІТЕРАТУРА

1. Батура, М.П. Рейтинговая система обучения на базе современных компьютерных технологий [Текст] : методическое пособие для преподавателей и студентов / М.П. Батура, А.В. Ломако, Л.Ю. Шилин - Минск: БГУИР, 1994.

2. Варенова, Л.И. Рейтинговая интенсивная технология рейтингового обучения [Текст] / Л.И. Варенова, В.Ж. Куклин, В.Г. Наводов - М.: Высшее образование, 1993.

3. Симонов, В.П. Педагогический менеджмент. Ноу-хау в образовании [Текст] :учебное пособие / В.П. Симонов. - М.: Высшее образование, 2007.

4. Влох, Р.О. Система оцінки українських фахових видань [Текст] // Бюлетень ВАК України. - 2009. - № 1. - С. 20 - 26.

5. Полонский, Б.М. Методы определения новизны результатов педагогических исследований [Текст] / Б.М. Полонский // Советская педагогика. - 1981. - № 1. - С.64 - 70.