Автоматизоване тестування в навчальному процесі

Автоматиз́оване тестув́ання в навч́альному проц́есі (англ. automated testing in educational process) — проведення опитування та контроль успішності з використанням вебдодатків або прикладних програм.

Застосування інформаційних технологій в навчанні дозволяє індивідуалізувати процес навчання, забезпечити оперативний самоконтроль і контроль з діагностикою помилок і зворотним зв'язком. Існує багато систем дистанційного навчання, які покликані забезпечити взаємодію між викладачем та учнями, дозволяють проводити онлайн-тестування та автоматичне обчислення результату.

Історія

Історію розвитку систем автоматизованого контролю знань складає низка успішних проєктів, починаючи з робіт В. П. Беспалька^[1]. Серед них такі масштабні проєкти як система комп'ютерного тестування успішності навчання у вищих медичних навчальних закладах^[2]. Розробляються комбіновані системи діагностування, які поєднують у собі елементи інформаційної системи з можливістю проведення бланкового тестування.

Проблеми автоматизованого тестування

При створенні систем автоматизованого тестування потрібно розв'язати наступні проблеми:

1. Вибір способу створення тестових завдань (автоматизоване генерування тестів або внесення тестів вручну).
2. Спосіб інтерпретації результатів.

Вибір способу створення тестових завдань

1. Імпорт файлу певного формату (наприклад, XML) з тестовими завданнями. Такий спосіб реалізований в системі Moodle.
2. Заповнення викладачем форми з внесенням вручну тексту завдання та варіантів відповідей. Наприклад, система TestWizard 1.7.
3. Автоматичне генерування тестових завдань на основі вбудованих математичних алгоритмів, аналізу тексту тощо.

Спосіб інтерпретації результатів

Інтерпретація результатів тестування є проблемою, вирішення якої ґрунтується на тих показниках, які здатна виміряти і подати для аналізу система тестування. З іншого боку, педагогічна теорія визначає вимоги до змісту результатів тестування. Сьогодні в автоматизованих системах тестування вимірюються і фіксуються такі показники щодо навчальних досягнень студента і його психофізіологічних характеристик^[3]:

• частка правильних відповідей:

• проста;
• з корекцією вгадування;
• векторна відповідно структурі бази завдань;
• за компонентами семантичної мережі^[4];

• рівень трудності завдань, які студент правильно виконує з імовірністю 50% (класичний підхід, наприклад «Телетестинг»);
• час виконання кожного завдання.

Алгоритми генерування тестових завдань

Алгоритм генерування завдань, заснований на параметризації^[5]

Спосіб генерації тестових завдань, заснований на параметризації, дозволяє проводити тестування багаторазово, отримуючи кожного разу різні вибірки завдань.

Перед програмною реалізацією завдань проводиться математичне моделювання кожного з них. Визначаються діапазони, в яких необхідно генерувати величини параметрів, що входять в завдання. Нехай ${\displaystyle A}$ — множина завдань, згенерованих у вибірці. Тоді елементи цієї множини ai можна представити у вигляді функціональної залежності від варіанту генерації умови завдання ${\displaystyle d_{i}}$, множини значень параметрів, що входять в завдання ${\displaystyle P}$, зв'язків між цими параметрами ${\displaystyle E}$, а також множини правильних відповідей ${\displaystyle R}$. У математичній нотації це можна записати так:

${\displaystyle A={a_{i}(d_{i},P_{i},E_{i},R_{i})},i={\overline {1,n}}}$

де ${\displaystyle n}$ — кількість завдань у вибірці.

При цьому необхідно зазначити, що значення функції ${\displaystyle a_{i}}$ визначені тільки для таких наборів ${\displaystyle P_{i},E_{i}}$, при яких множина ${\displaystyle R_{i}}$ буде не порожньою і не матиме нескінченного числа елементів. Іншими словами, завдання, що генерується, має мати скінченне число рішень. Таким чином, завданням розробника є створення такого алгоритму генерації завдань, який би максимізував кількість можливих значень аргументів ${\displaystyle d_{i}}$ і найбільше число різних варіантів генерації множини ${\displaystyle P_{i}}$.

Аргументи ${\displaystyle E}$ і ${\displaystyle R}$ не впливають на збільшення кількості варіантів генерації завдань. При достатньо великій потужності множини ${\displaystyle P}$ можна досягти результату, коли кількість можливих варіантів генерації завдання складе тисячі або навіть десятки тисяч. Це значно більше, ніж, наприклад, у випадку використання фасетних таблиць. Такий підхід до генерації завдань забезпечує одержання кожним студентом унікального набору завдань. Ймовірність отримання однакового набору мала і нею можна знехтувати.

Класичний підхід до генерування тестових завдань обчислювального характеру

В основі цього методу лежить використання двох логічно незалежних елементів: математичного алгоритму для вирішення завдання на основі заданих вхідних даних (розв’язувальний пристрій) і генератора вхідних даних. Розв'язувальний пристрій — це функція зі змінним набором вхідних параметрів, залежно від конкретної задачі. Генератор реалізує автоматичну генерацію «прийнятних» вхідних даних на основі визначених правил. Ці правила описують взаємозв'язки між вхідними даними. Генератор повертає набір вхідних даних, а розв'язувальний пристрій — набір відповідних результатів.

Дані, згенеровані описаним вище методом, подаються на вхід до генератора запитань разом з шаблоном тексту завдання та структурою (шаблоном) XML формату, якщо це передбачено. Генератор запитань вставляє згенеровані вхідні дані в текст завдання, а отриманий результат — в набір варіантів відповідей. Також такий підхід передбачає реалізацію алгоритму генерування неправильних відповідей, якщо цього вимагає специфіка тестового завдання. Неправильні відповіді, як і вхідні дані, також можуть обиратись випадковим чином з бази даних.

Задачі дискретної математики, які підлягають автоматизації

Дискретна математика — галузь математики, що вивчає властивості дискретних структур, які виникають як в межах самої математики, так і в її застосуваннях. До таких структур можуть бути віднесені скінченна група, скінченний граф, а також деякі математичні моделі перетворювачів інформації, скінченний автомат, машина Тюринга і так далі. Це приклади структур скінченного характеру. Розділ дискретної математики, що вивчає їх, називається скінченною математикою. Іноді саме це поняття розширюють до дискретної математики. Крім вказаних скінченних структур, дискретна математика вивчає деякі системи алгебри, нескінченні графи, обчислювальні схеми певного вигляду, клітинні автомати і т. д. Як синонім іноді уживається термін «дискретний аналіз».

З точки зору доцільності, при виборі задач для автоматизації, в першу чергу потрібно генерувати такі завдання, розробка яких «вручну» займає багато часу і зусиль. Основні характеристики таких завдань:

1. Необхідність створення рисунку. Часто візуалізація дерев, графів або інших структур потребує навичок роботи з певними програмними засобами і займає деякий час.
2. Велика множина вхідних даних. Іноді підбір коректних вхідних даних є непростою задачею.
3. Необхідність створення великої кількості різноманітних наборів вхідних даних. За допомогою комп'ютерних засобів можна згенерувати максимум неповторюваних комбінацій вхідних даних, що дозволяє отримати набагато більше різних завдань, ніж при створенні їх «вручну».
4. Обчислення результату займає багато часу. Отримання розв'язку на комп'ютері відбувається майже миттєво, що забезпечує суттєву економію часу викладача.

Під характеристики, описані вище, підходять багато задач, зокрема, задачі з деревами, графами тощо. Автоматичне генерування подібних завдань суттєво полегшить роботу викладача шляхом економії часу і відсутності потреби у встановленні додаткового програмного забезпечення.

Див. також

• Педагогічне діагностування
• Педагогічне тестування

Переадичне тестування як і для дорослих так і для дітей.

Примітки

1. Беспалько, В.П. (2002). Образование и обучение с участием компьютеров.
2. Булах, І.Є. (1995). Теорія і методика комп’ютерного тестування успішності навчання.
3. Клайн, П. (1994). Введение в психометрическое программирование. Справочное руководство по конструированию тестов.
4. Пустобаев, B.П. (2005). Формализация элементов диагностики знаний учащегося.
5. Чухрай, А.Г. (2010). Розробка комплексу інтерактивних web-тестів з математики.