РЕФЕРАТИВНЫЙ ОБЗОР ПО ТЕМЕ
«ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ
ТЕСТИРОВАНИЯ И КОНТРОЛЯ ЗНАНИЙ»
На сегодняшний день в России, как и во всем мире, стремительно развиваются информационные технологии, в том числе в сфере обучения и контроля знаний. На фоне информатизации системы образования, распространения дистанционного обучения, развития технологий управления персоналом актуальной является задача разработки автоматизированных информационных систем, позволяющих объективно и быстро оценивать знания, умения и навыки обучаемых. Достижения теории педагогических измерений выдвигают на первый план использование в компьютерных системах педагогических тестов, что было реализовано в эксперименте по проведению единого государственного экзамена. В то же время сейчас активно развивается концепция интеллектуального тестирования и контроля знаний, которая предполагает «интеллектуализацию» процесса тестирования за счет использования определенных математических моделей и алгоритмов, технологий искусственного интеллекта, имитации взаимодействия преподавателя и обучаемого.
В данной работе сделан обзор источников, отражающих некоторые концепции, модели и методы, применяемые для создания интеллектуальных систем тестирования и контроля знаний. Исходя из вышесказанного, обзор разделен на две части, первая из которых посвящена теории и практике педагогических измерений, а вторая – непосредственно системам интеллектуального тестирования.
Теория и практика создания и применения
педагогических тестов
Освещаются теоретические основы, методы конструирования и практические вопросы создания и использования гомогенных педагогических тестов. Раскрываются роль и функции педагогического контроля в учебном процессе. Даются основы теории педагогических измерений. Анализируются содержание тестов и формы их представления. Видное место отводится статистическому обоснованию качества теста. В приложениях приводятся инструктивно-методические материалы и математические формулы, используемые в ходе создания тестов и шкалирования результатов тестируемых.
Для слушателей учреждений дополнительного образования, обучающихся по образовательной программе в области педагогических измерений с дополнительной квалификацией «Тестолог». Представляет интерес для учителей общеобразовательных школ, преподавателей высших и других профессиональных учебных заведений, а также для студентов педагогических направлений и специальностей.
В докладе представлены результаты работы по анализу и систематизации математических моделей современной теории тестов, как параметрических, так и непараметрических. Представлена классификация моделей, анализ их достоинств и недостатков. Результаты работы используются в автоматизированном тестировании по курсу «Сетевые технологии» на кафедре «Компьютерные системы и сети» МГТУ им. Баумана.
В основу этой статьи положены «Стандарты образовательного и психологического тестирования», разработанные Американской ассоциацией исследований в области образования (American Educational Research Association), Американской психологической ассоциацией (American Psychological Association) и Национальным советом по измерениям в сфере образования (National Council on Measurement in Education). Эти стандарты – основа для всесторонней оценки качества тестов. В данной статье выделены основные требования к качеству тестов, которые применимы в большинстве случаев. Сформулирован ряд вопросов, которые должны помочь пользователю составить свое мнение о конкретном тесте.
В книге рассматриваются основы оптимального оценивания уровня учебных достижений эмпирических объектов.
Изложение базируется на теории оценки и различения статистических гипотез. Исследуются основные виды распределения вероятностей оценок уровня учебных достижений: биномиальный и нормальный. На их основе сформированы основные алгоритмы оценок параметров достижений тестируемых и алгоритмы их классификации. Последние являются оптимальными, т. к. базируются на критериях, обеспечивающих или минимальную ошибку принятия решения при фиксированной выборке (критерии Байеса, Неймана-Пирсона, минимакса), или минимальную выборку наблюдений при заданных ошибках принятия решений (критерий Вальда). Все алгоритмы реализованы в программной среде MathCAD, их работа проиллюстрирована на численных примерах.
Книга предназначена для тестологов и специалистов, использующих методы прикладного статистического анализа.
В статье предлагается практический метод получения логитов (тестового балла) из сырого (первичного) балла для однопараметрической модели Раша. Приводится краткое описание алгоритма и готовая подпрограмма, реализующая его.
Хапров В.С., Дударь З.В. Применение методики создания теста в компьютерных системах дистанционного обучения. // Материалы международной научно-методической конференции «Образование и виртуальность». - Ялта: ХНУРЭ, 2002. - http://virt.kture.kharkov.ua/2002/papers/7_02.pdf
Статья посвящена проблеме контроля качества усвоения знаний в системах дистанционного обучения. Целью исследования является разработка рекомендаций по разработке теста и интерпретации результатов тестирования знаний. Эта цель достигнута успешным решением ряда задач: выбор тестовых заданий, оценка надежности теста, оценка валидности теста с помощью независимого внешнего критерия, оценка точности и надежности результатов тестирования. Была разработана программная система, реализующая предложенную методику и алгоритмы.
Рассматривается проблема оценки знаний в системе обучения и тестирования. Разработанная система использует в одном сеансе тестирования определенное количество вопросов с альтернативными вариантами ответов. Предлагается формула вычисления границ интервалов шкалы оценивания в зависимости от количества вопросов в сеансе тестирования, количества альтернатив в каждом вопросе и диапазона шкалы оценивания. В предложенной формуле учитывается фактор случайного выбора ответов.
Рассматриваются основные направления теории тестирования. Предлагается математический аппарат для выбора релевантного метода отбора тестовых заданий, использующий теорию оптимизации. Разработан адаптивный алгоритм формирования тестов.
2. Интеллектуальные системы
тестирования и контроля знаний
2.1. Проблема «интеллектуализации» компьютерного тестирования
Рассматриваются и анализируются проблемы современных автоматизированных систем тестирования. Предлагается подход к организации тестирования, связанный с применением методов интеллектуальных вычислений и инженерии знаний. Формулируются принципы интеллектуального тестирования, положенные в основу нового класса программных систем контроля и оценивания знаний.
Анализируются недостатки современных подходов к автоматизированному тестированию. Предложен новый подход к разработке систем тестирования, использующий методы и модели, развиваемые в рамках теории искусственного интеллекта и инженерии знаний. Сформулированы основные принципы построения автоматизированных систем контроля знаний нового поколения.
2.2. Системы адаптивного тестирования
В тезисах освещается впервые реализованный в системе «Телетестинг» (в масштабах массового компьютерного тестирования) адаптивный алгоритм предъявления тестовых заданий, учитывающий правильность ответов испытуемого в ходе сеанса тестирования. Кроме этого описывается и такая дополнительная инновация, как обработка данных с помощью двухсторонних FTP-сеансов связи.
Большинство существующих систем компьютерного тестирования являются статическими по своей природе, в смысле структуры тестовых вопросов в батарее, поэтому предлагаемые в них тесты не являются индивидуализированными для экзаменуемого. В этой статье рассматривается модель компьютеризированного адаптивного тестирования, основанная на IRT, и обсуждаются ее преимущества и ограничения. Затем представлена идея интеграции методологии проектирования экспертных систем и IRT-модели.
Рассматривается методика создания интерактивной системы адаптивного тестирования в среде Интернет, основанная на использовании технологий искусственного интеллекта и экспертных систем. Характеристики экспертной системы гарантируют быстрый и эффективный способ построения базы знаний, отражающей знания преподавателя-эксперта для оценки обучаемого. Процесс тестирования в этом случае будет представлять собой управляемую логическим выводом консультацию, в которой вопросы экспертной системы будут представлять собой тестирующие задания. Описанная система тестирования реализована в виде отдельного Интернет-ресурса, а также используется в МАИ на кафедре Вычислительной математики и программирования для компьютерного тестирования студентов по курсам «Информатика» и «Логическое программирование».
В данной статье рассматриваются вопросы эффективного контроля знаний и умений слушателей курсов в Воронежском региональном центре интернет-образования с использованием системы тестирования, построенной на современных клиент-серверных технологиях.
Основным вопросом данной статьи является определение уровня знаний студента. Полученная модель может быть использована в системах дистанционного обучения для адаптации процесса обучения к начальным знаниям студента. Эта подсистема помогает выбрать тот список предметов, который необходим студенту для получения знаний по выбранному курсу. Модуль использует компьютерные адаптивные тесты в качестве базовой модели реализации тестов.
В докладе, на примере действующей среды дистанционного обучения, рассматриваются принципы проектирования и создания интеллектуальных систем дистанционного обучения и адаптивного тестирования, приводится модульная структура и назначение основных компонентов типовой подсистемы адаптивного тестирования.
Статья посвящена описанию открытой информационно-образовательной среды «KnowledgeCT», реализующей сетевую технологию обучения в Центре дистанционного образования Таганрогского радиотехнического университета. Рассматривается функционирование различных модулей образовательной среды: модуля мониторинга процесса обучения, обучающих экспертных систем, игровых обучающих программ, модулей промежуточного и адаптивного тестирования.
В докладе рассмотрено авторское инструментальное средство для создания адаптивных обучающих систем. Базируется данная разработка на интеграции трех основных технологий: адаптивной гипермедиа, адаптивного тестирования и адаптивных пользовательских интерфейсов.
2.3. Системы тестирования с анализом ответов на естественном языке
Рассматриваются вопросы создания систем дистанционного тестирования знаний на основе алгоритма смыслового конструирования. Дается классификация тестовых заданий и предлагается проводить тестирование не только выбором правильного варианта ответа, а с возможностью его самостоятельного смыслового конструирования. Для оценки знаний программа тестирования использует принципы лингвистического процессора.
В данной работе исследуется проблема повышения эффективности тестирования
теоретических знаний. В статье приведен анализ существующих методов тестирования и предложен один из возможных методов, основанный на построении и анализе концептуальных моделей ответов с использованием тезауруса семантических полей, что позволяет повысить эффективность тестирования за счет уменьшения трудозатрат автора. Предложена структура тезауруса и методы его автоматизированного построения, которые позволяют облегчить адаптацию системы контроля знаний.
Актуальной проблемой совершенствования систем тестирования является использование методов искусственного интеллекта для анализа открытого ответа. В докладе предлагаются принципы построения и архитектура системы "ЭСКИЗ-2", основанной на методах инженерии знаний, и предназначенной для построения и использования учебных тестов.
2.4. Системы тестирования с использованием нечеткой логики
Проанализированы возможности использования локально-параллельных алгоритмов нечеткой логики для создания систем дистанционного тестирования знаний. Предлагается архитектура сетевого варианта реализации системы.
Рассматривается архитектура и функционирование интегрированной автоматизированной системы контроля знаний, позволяющей проводить тестирование обучаемых с применением средств дистанционной коллегиальной подготовки тестовых заданий наиболее квалифицированными экспертами, оригинальной модели нечеткого оценивания знаний и алгоритмов прямого тестирования.
2.5. Экспертные системы анализа знаний
Рассматривается метод создания интеллектуальной надстройки электронного учебника, реализующей функции анализа существующих у студента знаний и автоматического генерирования сценария обучения. Для анализа знаний обучающегося используется специализированная экспертная система, которая позволяет определить упорядоченную совокупность известных и неизвестных ему понятий ("фотография знаний") и вычислить общую оценку знаний.
Русаков С.В., Перескокова О. И., Шестакова Л.В. «Интеллектуальный» генератор тестов. // Материалы международной конференции-выставки «Информационные технологии в образовании». - Москва, 1998. - http://www.ito.su/1998/2/rusakov2.html
Представленный программный продукт является по сути экспертной системой и позволяет генерировать тесты с заданным характеристиками, а так же анализировать результаты тестовых испытаний. По результатам тестовых испытаний подсчитывается процент усвоения каждого элемента системы знаний, который должен быть усвоен учащимся по окончании изучения материала данной предметной области, и процент усвоения всего курса (темы), как для отдельного ученика, так и средние характеристики для всей группы.