Про порядок розробки складових нормативного та навчально-методичного забезпечення підготовки фахівців з вищою освітою

У таблиці Додатку Б у графі 3 шифри базових тестових завдань наведені за стуктурою:

а) шифр базових тестових завдань, що складають комплекс цілей професійної підготовки фахівця:

б) шифр базових тестових завдань, що складають комплекс цілей освітньої підготовки фахівця:

4.2. Технологія створення системи базових тестових завдань стандартизованих форм

4.2.1 Форма тестового завдання повинна адекватно відповідати групі, до якої віднесено навчальний елемент з інформаційної бази, і необхідному рівню сформованості навчального елемента, наведених у таблиці Додатку А.

4.2.2 Технологія конструювання та форми тестових завдань наведені у Додатку В.

4.3 Технологія конструювання теста об'єктивного контролю рівня освітньо-професійної підготовку фахівців

Технологія конструювання теста об'єктивного контролю рівня освітньо-професійної підготовки фахівців наведена у Додатку Г.

4.4 Технологія проведення тестового іспиту

Технологія проведення тестового іспиту наведена у Додатку Д.

4.5 Технологія психометричного аналізу теста і тестових завдань

Технологія психометричного аналізу теста і тестових завдань наведена у Додатку Ж.

Форма (формат) тестових завдань (задач) поділяється на:

1) завдання закритої форми з запропонованими відповідями, з котрих вибирають одну вірну.

2) завдання відкритої форми з вільно конструйованими відповідями.

Тестові завдання закритої форми повинні складатися з трьох компонент:

а) інструкції з їх виконання;

б) запитальної (змістовної) частини;

в) відповіді(ей).

Форма подання текстових або графічних тестових завдань (задач) повинна задовольняти певним рекомендаціям діагностів:

1. Тестові завдання однакової форми мають супроводжуватись однією інструкцією з їх виконання. При зміні форми тестових завдань формується відповідна нова інструкція.

2. Текст інструкції повинен відрізнятися від основного тексту (іншим шрифтом або активним кольором тощо) та відокремлюватися від тестових завдань двокрапкою.

3. Тестові завдання нумеруються арабськими цифрами, нумерація тестових завдань різної форми наскрізна.

4. Запитальна частина тестового завдання формулюється, як правило, у стверджувальній формі стисло, чітко, без подвійного тлумачення.

5. Запитальна частина тестового завдання виділяється великими літерами або активним кольором.

6. Елементи відповіді частини тестового завдання мають окрему індексацію.

7. Запитальна частина тестових завдань та можливі відповіді не відокремлюються будь-яким знаком.

8. Відповіді розташовуються під запитальною частиною симетрично.

9. Якщо відповідь передбачає певну процедуру обчислювання, то остання повинна бути простою, без необхідності застосування складових технічних засобів.

Тестові завдання закритої форми розрізняються за принципом побудови відповіді.

- Альтернативні тестові завдання передбачають наявність двох варіантів організації відповіді типу "так - ні"; "вірно - невірно" тощо. Як правило, їх використовують для грубої перевірки правильності вибору або прийняття рішення у згорненій формі.

Приклад.

- Тестові завдання з множинним вибором передбачають принаймні три можливі відповіді (але не більше п'яти). Завдання такого типу доцільно використовувати у тих випадках, коли необхідно перевірити уміння правильно відтворювати отримані знання.

У цьому типі тестових завдань у запропонованих декількох відповідях є правильною лише одна. При складанні таких завдань виникають труднощі у підборі дистракторів - правдоподібних варіантів відповідей, які повинні виглядати достатньо прийнятними як правильні.

У свою чергу завдання з множинним вибором діляться на види згідно з принципом підбору правильних та правдоподібних відповідей.

Тестове завдання з простим множинним вибором, відповідь яких будується за принципом класифікації є проміжною між альтернативними тестовими завданнями та тестовими завданнями з множинним вибором. Їх доцільно використовувати тоді, коли кількість можливих варіантів відповідей менше трьох, але відповідь більш складна ніж відповідь типу "так" - "ні".

Приклад.

- Тестові завдання з множинним вибором, при побудові відповіді яких використовується принцип класифікації, доцільно використовувати при перевірці умінь вільного орієнтування у групі схожих понять, явищ, процесів тощо.

Приклад.

- Тестові завдання, у відповідях яких застосовано принцип кумуляції, доцільно використовувати для перевірки повноти знань та умінь.

Запитальна частина таких завдань в основному має порівняльний зміст: одна з декількох відповідей мас бути найкращою, можливо правильною, найбільш вірною, найбільш повною, такою, що частіше зустрічається.

У зв'язку з цим у запитальній частині завдань рекомендується використовувати вирази типу "як правило", "звичайно", "найбільш часто", "головна причина", "найчастіше", "частіше над усе" тощо.

Приклад.

Для перевірки знань та вмінь використовуються також тестові завдання, відповіді яких побудовані за принципом циклічності.

Приклад.

При складанні тестових завдань з множинним вибором можливе використання сполучення всіх зазначених вище принципів.

Приклад.

У першій та другій відповідях використовується принцип класифікації, у третій - кумуляції.

Приклад.

В побудові відповіді тестового завдання використано принцип подвійної альтернативи.

У наведеному вище прикладі подано зразок інструкції з виконання завдань з множинним вибором. Можливі й інші варіанти інструкцій, наприклад:

Після запитання (що є незакінченим твердженням, фрагментом, ситуацією і т. інш.), що наведено нижче, подається п'ять (два, три, ...) відповідей (тверджень). Виберіть одну найбільш правильну (найповнішу) відповідь.

Тестові завдання на відновлення відповідності частин являють собою модифікацію тестових завдань з множинним вибором і поділяються на чотири види:

- тестові завдання на відповідність;

- тестові завдання на порівняння і протиставлення;

- тестові завдання з множинними відповідями "вірно-невірно";

- тестові завдання на визначення причинної залежності.

Завдання подаються у вигляді двох чи більше колонок слів, фраз, графічних зображень, цифрових або літерних позначень тощо.

Кожний елемент у відповідній колонці нумерується цифрою або літерою. Тому, хто тестується, необхідно визначити відповідність елементів, розміщених у різних колонках, тобто вибрати ті, що зв'язані один з одним.

При складанні таких завдань належить дотримуватись певних правил:

1. Перелік елементів у першій колонці повинен складатися з однорідних елементів. Кількість останніх може бути будь-якою, але доцільно не більше п'яти.

2. Для уникнення можливого припасування останнього запитання до останньої, ще невикористаної відповіді, кількість елементів у кожній колонці має бути різною.

3. Відповіді рекомендується розміщувати у логічній, алфавітній, цифровій або хронологічній послідовності.

4. Інструкція повинна чітко вказувати на принцип підбору відповідей, а також на можливість використання відповіді один або кілька разів.

Тестові завдання на відповідність (на асоціативні зв'язки) дають можливість установити знання фактів, взаємозв'язків та знання термінології, позначень, методик тощо.

Приклад.

Тестові завдання на порівняння і протиставлення (на аналіз взаємозв'язку) рекомендується для перевірки умінь виявляти розпізнавальні ознаки різних явищ, ситуацій тощо. При виконанні таких завдань той, хто тестується, аналізує запропонований матеріал, синтезує його та робить відповідні висновки. У разі аналізу запропонований до тестування матеріал поділяється на окремі частини і визначаються їхні взаємовідносини: у разі синтезу - окремі частини або елементи запропонованого матеріалу поєднуються в єдине ціле.

Приклад.

Тестові завдання з множинними відповідями "вірно - невірно" використовуються в ситуаціях, коли відповіді або рішення можуть бути тільки правильними або неправильними (на відміну під тестових завдань (на відміну від тестових завдань з однією найвірнішою відповіддю)), не мають жодних відтінків переваги і є категоричними. Крім того, досить часто на запропоноване запитання існує декілька правильних відповідей. У такому разі вважається, що тестується глибина знань, розуміння різних аспектів явищ, процесів тощо.

Завдання цього типу містять основу, до якої, як правило, пропонуються чотири пронумеровані відповіді. Така основа може подаватися у формі твердження, фрагментів тексту, ілюстрацій тощо. Відповіді повинні бути тільки вірними або тільки невірними (на відміну від тестових завдань з однією найвірнішою відповіддю). У інструкції обов'язково наводиться правило вибору відповіді.

Приклад.

Тестові завдання на визначення причинної залежності використовуються при необхідності піревірки розуміння певної причинної залежності між двома явищами.

Запитання складається так, що кожне з двох тверджень, пов'язаних сполучником "тому, що", є повним і чітко сформульованим реченням. Тому, хто тестується, спочатку необхідно визначити, вірне чи невірне кожне з двох тверджень окремо, а лише потім, якщо обидва вірні, визначити, вірна чи невірна причинна залежність між ними.

Приклад.

Тестові завдання на відтворення вірної послідовності (комбінації) потребують переструктурування даних або елементів будь-якої комбінації. Використання таких завдань доцільне у разі тестування умінь та знань правильної послідовності дій (нормативної діяльності), алгоритмів діяльності, послідовностей, технологічних прийомів тощо. Можливе також їх використання при тестуванні знань загальноприйнятих формулювань визначень, правил, законів, фрагментів нормативних документів тощо.

Такі тестові завдання використовують, як правило, у вигляді уявної моделі дій, уявного тренажера тощо. Той, хто тестується, повинен проставити порядкові номери компонентів дій, розташованих у вільному порядку. При необхідності, завдання можна супроводити певною назвою, а також визначити початок запропонованої послідовності слів.

Приклад.

Тестові завдання відкритого типу, що передбачають вільні відповіді тих, хто тестується, є завданнями без запропонованих варіантів відповідей і використовуються для виявлення знань термінів, визначень, понять тощо. Той, хто тестується, виконує завдання за власним баченням. За змістом тестове завдання відкритого типу являє собою твердження з невідомою змінною.

Приклад.

Складання тестових завдань відкритого типу рекомендується розпочинати з постановки запитання:

За якої температури закипає вода на висоті 1000 м над поверхнею моря?

Далі формується повна і правильна відповідь таким чином, щоб ключеве слово (у даному випадку - висота 1000 м над поверхнею моря), було на початку відповіді, а навчальний елемент, знання якого має бути перевірене, - у кінці;

- На висоті 1000 м над поверхнею моря вода закипає за температури 98 градусів за Цельсієм.

З вірної відповіді вилучається відповідний навчальний елемент, і тестове завдання готове.

Приклад.

З метою запобігання розкриттю тестових завдань відкритої та закритої форм у процесі тестування рекомендується застосовувати так звані фасетні тестові завдання, зміст запитальної частини яких зменшується без зміни тематичної спрямованості завдання у цілому.

Приклад.

Ситуаційний тест - не є новою формою тестового завдання. Це цілеспрямований набір тестових завдань, призначених для вирішення проблемних ситуацій, що притаманні майбутній соціальній і виробничій діяльності випускників вищих навчальних закладів.

Кількість та форми тестових завдань у такому тесті можуть бути досить різноманітними, але можливе використання тестових завдань однієї форми. Порядок розміщення тестових завдань у ситуаційному тесті визначається діями, які той, хто тестується, повинен здійснювати для вирішення проблемної ситуації.

Ситуаційний тест доцільно використовувати при діагностиці ступеню засвоєння складної діяльності, адекватної діяльності щодо розв'язання типових задач діяльності. У цьому випадку ситуаційний тест є аналогом комплексного кваліфікаційного завдання (ККЗ).

В основі конструювання тесту об'єктивного контролю рівня освітньо-професійної підготовки фахівців лежить структура системи базових тестових завдань (Додаток Б), що відповідає системі навчальних елементів (Додаток А).

Тест має включати кількість тестових завдань, що є достатньою для забезпечення відповідної точності методу вимірювання. Ця характеристика має назву довжина тесту.

Для забезпечення точності вимірювання, за якою помилка не перевищує 5%, довжина тесту повинна становити від 380 до 420 тестових завдань, для точності у 10% - від 80 до 120 і для точності у 20% - від 25 до 30 тестових завдань.

При державному кваліфікаційному іспиті помилка вимірювання не може перевищувати 5%.

Технологія проведення тестового іспиту передбачає існування певної організаційної структури, яка забезпечує дотримання певних правил проведення тестових іспитів:

1. Уніфікація умов проведення вимірювань.

2. Інформаційна та психологічна підготовка студентів до тестового іспиту.

3. Дотримання правил секретності при розмноженні тестових брошур, їх зберігання та використання.

4. Уніфікація умов та методик обробки результатів тестування та форм їхнього подання.

Тест має проходити стандартизацію за результатами пілотних тестувань на репрезентативній виборці з метою встановлення діагностичних властивостей тесту через визначення таких статистичних параметрів.

Для тесту:

- Середнє значення - X.

- Середньоквадратичне відхилення - a.

- Коефіцієнт надійності - R.

- Стандартна помилка вимірювання - E.

- Коефіцієнт валідності - V.

Для тестового завдання:

- Індекс складності тестового завдання - Iс.

- Індекс диференцюючої здатності - Iд.

3.4. Методика розробки засобів діагностики рівня освітньо-професійної підготовки

Методика розробки таких розділів стандарту як "Титульний лист", "Передмова", "Вступ", "Галузь використання", "Нормативні посилання", "Позначення і скорочення" повністю співпадає з методиками розробки аналогічних структурних елементів стандартів, викладених у розділах 1.4 і 2.2.

Розділ 4. Вимоги

Розробку тестів неможливо відокремлювати від математичної обробки результатів тестування та визначення якості розроблених тестів. Тому, усі ці три проблеми потрібно розглядати послідовно, як це має місце при створенні тесту.

Робота починається з компоновки проекту тесту - тестового матеріалу, який у подальшому за допомогою методів математичної статистики перетворюється у тест, що відповідає критеріям якості тесту. Враховуючи те, що використання математичних методів у психодіагностиці вимагає високого рівня кваліфікації розроблювачів, далі пропонується спрощена технологія розроблення педагогічних тестів, побудована на принципах якісного аналізу тестових завдань. Передбачається, що у подальшому з набуттям досвіду розробки і використання тестів, а також після відповідного підвищення кваліфікації викладачів вищих навчальних закладів, буде можливим застосування сучасних технологій розробки і використання психодіагностичних методик визначення якості освіти, яку набуває випускник вищого навчального закладу.

Компоновка тестового матеріалу починається з визначення наданого в ОКХ уміння, рівень сформованості якого треба встановити. Далі, необхідно визначити знання, на підставі яких сформовано дане уміння. Знання у вигляді змістовних модулів, що адекватні темам навчальних дисциплін, які вивчаються, подані в ОПП. На підставі аналізу змісту модулів в таблиці Додатку А формується інформаційна база освітньої та професійної підготовки фахівців у вигляді системи навчальних елементів, з яких складаються відповідні змістовні модулі. Формування такої системи полягає у виділенні навчальних елементів та визначенні логічних зв'язків між ними (структурна декомпозиція змістовних модулів). Це обумовлено тим, що при конструюванні тестів, які використовуються при педагогічних вимірюваннях, необхідно встановити не тільки схеми формальних логічних зв'язків між окремими розділами, але й чітко виділити ті навчальні елементи та логічні зв'язки між ними, рівень засвоєння яких необхідно перевірити через тести.

Зауважимо, що логічну й дидактичну обробку масивів змісту та його структурну декомпозицію неможливо розділити у часі, тому при проектуванні змісту навчання вказану обробку необхідно здійснювати паралельно - тим самим досягається адекватність структури змісту навчання структурі відповідної галузі знань.

При формуванні системи навчальних елементів слід виділити із змістовного модуля групи навчальних елементів, які мають схожі змістовні ознаки. Перелічимо їх за схемою (літерами визначені шифри груп навчальних елементів, а в дужках подані умовні назви груп):

1. П (Поняття) - категорії, терміни, поняття, позначення.

2. Я (Явища) - властивості, явища, факти, спостереження, твердження, опис об'єктів, механізмів і таке інше.

3. В (Відношення) - співвідношення, теореми, закони, концепції, правила, гіпотези, теорії, моделі (фізичні і математичні), залежності (у тому числі аналітичні, графічні та логічні), структури тощо.

4. А (Алгоритми) - алгоритми діяльності (у тому числі алгоритми розв'язування задач, доведення теорем, рівнянь тощо), послідовності дій, процедури, правила прийняття рішень, поведінки і таке інше.

При заповненні таблиці Додатку А кожному навчальному елементу надається шифр, який складається з шифру відповідного змістовного модуля та доданої через крапку літери, що співпадає з літерою шифру відповідної групи навчальних елементів. Потім через крапку додасться шифр рівня сформованості знання і, далі, через крапку наскрізний для даного змістовного модуля номер навчального елементу.

При формуванні шифру рівня сформованості знань про кожний з навчальних елементів доцільно дотримуватися рекомендованої трирівневої системи визначення сформованості знань. Зауважимо, що ознайомчо-орієнтовний рівень сформованості знань у свою чергу можливо поділити на два підрівні:

- підрівень знайомств, коли особа має загальне уявлення про той чи інший навчальний об'єкт, але не здатна відтворити інформацію щодо нього, сформувати основні положення, визначити ознаки, що його характеризують;

- підрівень репродукції, коли особа здатна відтворювати (розповісти, пояснити) структуру системи знань щодо визначень, найбільш суттєвих ознак, принципів дії основних навчальних об'єктів чи інших характеристик явищ або систем явищ, які мають найбільше значення.

Такий поділ дає в подальшому можливість точніше підібрати потрібні форми тестових завдань.