Организация системы компьютерного контроля знаний

Введение

На современном этапе непрерывное обучение как приобретение и совершенствование знаний, умений, навыков является обязательным условием успешной деятельности, что обусловлено быстрым развитием технологий и изменением уровней жизнедеятельности человека. Обучение, повышение квалификации и переподготовка специалистов в настоящее время невозможны без применения информационных технологий обучения (ИТО), которые представляют собой совокупность средств (программного и технического обучения, теоретических заданий, методических приемов) и способов их применения для эффективной учебной деятельности обучаемых и преподавателей.

Основная цель применения ИТО состоит в повышении эффективности обучения и контроля знаний за счет использования компьютерных средств решения дидактических и организационных задач. Контроль и оценка знаний является неотъемлемым элементом учебной деятельности, средством индивидуализации обучения, мотивации учащихся, анализа результатов успешности решения педагогических задач и оптимизации учебного процесса в целом.

1. Методы компьютеризированного контроля знаний

.1 Структура контрольно-оценочной деятельности

Контрольно-оценочный этап (КОЭ) является обязательным компонентом учебной деятельности [1, 2, 3]. С этим этапом связана реализация так называемой "обратной связи" при обучении, т. е. получение информации о ходе усвоения, выявление трудностей, ошибок, пробелов в знаниях. Часто на данный этап возлагается устранение ошибок (доучивание) или определение и корректировка последующих обучающих воздействий. Таким образом, с точки зрения педагогики КОЭ может выполнять ориентирующую, диагностическую, обучающую, воспитательную, развивающую, контролирующую и управляющую функции.

Оценка может рассматриваться как ориентирующая, воздействующая на умственную работу, и стимулирующая, воздействующая на аффективно-волевую сферу. В учебном процессе оценка обычно фигурирует в форме отметки - некоторого числового эквивалента качества и количества знаний. Для того чтобы оценка выполняла свою ориентирующую функцию, она должна отражать результаты диагностического контроля знаний, т.е. содержать результаты анализа знаний, умений и навыков обучаемого в изучаемой предметной области (ПО) в соответствии с некоторой моделью обучаемого или моделью усвоения знаний. Положительная мотивация посредством оценивания достигается за счет выбора подходящего критерия, шкалы оценок и психологически приемлемой формы сообщения результатов.

С точки зрения места контроля знаний в учебной деятельности различают предварительный, текущий и итоговый контроль. Цель первого - получение информации о текущем состоянии знаний обучаемого для принятия решения о содержании и формах последующих обучающих воздействий. Отсутствие определенных знаний может служить препятствием для дальнейшего обучения, кроме того, в соответствии с учением о зоне ближайшего развития, в изучаемой ПО могут быть выделены элементы, находящиеся "на стыке" уже изученных и новых для обучаемого, образующие зону, в которой обучение понятиям, навыкам и действиям наиболее эффективно.

Задача текущего контроля заключается в проверке хода усвоения нового материала, определении числа заданий, необходимых для выработки конкретных навыков, закреплении изученного. Текущий контроль связан с проверкой отдельных порций - понятий, алгоритмов, действий, знаний простой структуры. Разнообразие моделей организации текущего контроля определяется различными исходными предположениями о составе и характеристиках заданий и влиянии контроля на процесс обучения.

Например, в [15] задача определения оптимальной частоты и глубины контроля рассматривалась как оптимизационная, причем функция выигрыша содержала требования к получению достоверной информации о состоянии знаний при минимальных временных затратах и по крайней мере не ухудшении других характеристик познавательного процесса. Исследования зависимости между формами, частотой контроля и успеваемостью показали, что форма контроля должна соответствовать этапу усвоения, а частота контроля по мере усвоения может уменьшаться.

Итоговый контроль связан с проверкой усвоения определенного раздела учебной дисциплины, выявлении понимания обучаемым сущности, структуры, взаимосвязей с другими разделами. На этом этапе происходит обобщение и обсуждение.

В качестве видов контроля в психологии выделяют контроль по конечному результату, пошаговый контроль и опосредованный контроль по известным условиям или параметрам действий [17].

В программированном обучении и при автоматизированном контроле знаний классификация часто проводится в зависимости «от вида ответа обучаемого: свободный (конструируемый), выбор из меню, оценочный (требующий подтверждения или отрицания) и др. [13, 18, 19, 20]. При составлении заданий для автоматизированного контроля знаний необходимо руководствоваться методикой проведения диагностики содержательной стороны развития интеллекта [21], основанной на деятельностном подходе к обучению. Согласно ей, задания должны варьироваться по форме выполнения действия, по предметному содержанию и условиям применения действия. При невозможности применить действие в целом необходимо диагностировать отдельные операции в порядке, обратном формированию (т.е. в обратном тому, который был использован при обучении действию). Это позволяет избежать обучающего эффекта при контроле знаний. По этой же причине обратный порядок должен быть соблюден и при варьировании заданий по форме выполнения действия, по предметному содержанию задания должны следовать от менее привычных к знакомым. При желании достичь обучающего эффекта в процессе контроля знаний, нужно варьировать задания по форме выполнения, предметному содержанию и условиям выполнения действия в той же последовательности, которая была выбрана при обучении.

Понятия контроля и оценки знаний часто используются авторами как синонимы, обычно этим понятием обозначается процесс, который начинается с выдачи обучаемому одного или нескольких заданий и завершается оценкой результата или выставлением отметки. Попытка разделения указанных понятий предпринята в [22], где контрольно-оценочная деятельность (КОД) определяется как совокупность актов контроля и оценки. При этом контроль понимается как процесс сравнения контролируемого объекта с эталоном, а оценивание - независимый процесс, который производится по результатам контроля в соответствии с некоторым критерием.

Выделение двух составляющих КОД представляется обоснованным, поскольку сопоставление объекта с эталоном производится в рамках изучаемой ПО, и результат контроля выражается в терминах этой ПО и педагогических понятий, используемых в теории формирования знаний. Оценивание целесообразно рассматривать как перевод полученных на этапе контроля результатов в некоторую универсальную форму, чаще всего - в числовую, в виде отметок или баллов, а в более общем случае представление результата элементом частично упорядоченного множества.

Этап контроля состоит из определения цели контроля, выбора объекта контроля, выбора заданий для контроля, определения эталонных результатов выполнения заданий, определения метода сопоставления результатов, полученных обучаемым, с эталонными, сопоставления результатов в соответствии с выбранной моделью, представления результатов контроля в требуемой форме.

Содержание КОД определяется целью контроля, которая может описываться через требуемые качества (характеристики) знаний, уровни усвоения или владения знанием, либо через характеристики деятельности. Знания могут быть охарактеризованы с точки зрения их полноты, глубины, оперативности, конкретности, обобщенности, систематичности, системности, развернутости, гибкости, осознанности и прочности [12]. Для контроля наличия каждого из качеств необходимо специфическое построение системы заданий. Например, глубина знаний может быть оценена через число известных обучаемому существенных признаков понятия, гибкость - по числу различных вариантов решения, предложенных обучаемым и т. п. Результат контроля может быть выражен в виде значений параметров указанных характеристик, которые могут быть как числовыми, так и нечисловыми (элементами некоторого множества). Составление заданий, по результатам выполнения которых можно установить (однозначно, либо с определенной вероятностью или уверенностью) значения параметров, представляет собой творческую задачу и выполняется преподавателем. Оценка качества заданий с точки зрения их способности охарактеризовать состояние знаний проводится путем сопоставления результатов их выполнения с результатами выполнения эталонных заданий, качество которых уже удостоверено, или путем сравнения результатов выполнения заданий с экспертными оценками качества или уровня знаний некоторой группы обучаемых.

Основная задача оценивания - отобразить результаты контроля, выраженные в форме эмпирической системы с соотношениями в числовую систему с соотношениями и обеспечить интерпретацию оценок в соответствии с целями контроля. Иногда к КОЭ относят коррекцию знаний обучаемого при неудовлетворительных результатах контроля. По-видимому, в рамках КОЭ следует рассматривать лишь те средства коррекции, которые не прерывают КОД, т.е. информацию об ошибке, правильный ответ и способ его получения, ссылку на соответствующий раздел знаний. Для отображения результатов контроля необходимо:

-сформулировать критерий отображения или требования к нему;

-выбрать числовую систему, которая будет служить образом эмпирической;

-задать гомоморфное отображение между двумя системами;

-определить математически корректные операции над оценками (суперпозиция, сравнение и т.п.).

Решениями подобных задач занимается теория измерений [23]. Под шкалой понимается упорядоченная тройка < A, R, f >, где А - эмпирическая система, R - числовая система, f - гомоморфное или изоморфное отображение А в R. Психологические основания шкалирования основаны на отношениях близости и предпочтения. Используемые в педагогике и психологии типы шкал различаются свойствами отображающей функции. Выделяют номинативные (инвариантные относительно любого однозначного преобразования), порядковые (инвариантные относительно монотонного преобразования), интервальные (инвариантные относительно линейного преобразования) шкалы. Частный случай последней - шкала разностей, инвариантная относительно сдвига - обычно используется при контроле знаний.

Обобщая психолого-педагогические требования к организации КОЭ и формам контроля, выделим основные положения, которые должны быть учтены при создании и использовании средств автоматизированного контроля знаний.

Текущий контроль должен быть всеобъемлющий и всеохватывающий, что может быть достигнуто за счет организации базы заданий по предмету и разработки адаптивных алгоритмов выбора заданий, учитывающих тематический состав последних. При проведении текущего контроля обратная связь с обучаемым должна способствовать обучению методам самоконтроля, созданию положительной мотивации, ориентации на предметное содержание деятельности и устранению аффективного влияния психологической ситуации опроса. При использовании автономных средств контроля знаний - контролирующих программ, компьютерных тестов, проведении автоматизированного зачета или экзамена [27, т. 1] глубина и вид контроля должны соответствовать этапу усвоения, а частота проведения контроля - этапу усвоения и уровню подготовки. Аналогичные требования должны быть учтены при создании интеллектуальных и экспертно-обучающих систем [27], в которых средства контроля выступают как неотъемлемая часть системы. Текущий контроль должен быть диагностическим, и его результаты должны быть представлены в форме, удобной для планирования дальнейшего учебного процесса, анализа причин ошибок и выбора педагогической стратегии. Результаты предварительного и итогового контроля должны допускать построение обобщенной оценки знаний обучаемого в некоторой шкале.

.2 Компьютерные средства оценки уровня знаний

Методы определения уровня знаний обучаемого по дискретной или непрерывной шкале обычно называются методами тестирования, а средства, используемые для такого рода измерений, тестами. Применение тестов в образовании имеет достаточно длительную историю, ему посвящен обширный список работ, содержащих обоснование методов измерений, описание алгоритмов математической обработки результатов, а также сопоставление различных методов измерений и методики формирования тестовых заданий [28].

В фундаментальном труде А. Анастази [28, т.1] тестирование определяется как "объективное и стандартизованное измерение выборки поведения". Классификация тестов отражает классификацию методов контроля знаний. По назначению тесты можно разделить на организационные, групповые и индивидуальные. Первые используются как средство оценки, усовершенствования и постановки задач обучения, вторые служат для сравнительной оценки достижений в группе и последние - для оценки индивидуальных успехов обучаемого. По оцениваемому параметру выделяют тесты интеллекта, способностей, достижений, личностных характеристик, а также проективные. С точки зрения временной направленности результата тесты можно разделить на диагностические, предназначенные для фиксации текущего состояния знаний, навыков, способностей и свойств личности, и прогностические, для предсказания поведения или успехов личности при том или ином виде деятельности. Тесты могут применяться на любом этапе контроля. Начальные или предварительные тесты используются для выбора содержания, уровня изложения и методики обучения, промежуточные - для управления обучением и заключительные - для определения уровня усвоения или диагностики.

С точки зрения эталона, используемого для сопоставления и градации результатов тестирования, выделяют норма - ориентированные, критериально - ориентированные и индивидуально-ориентированные тесты. Различия между норма - ориентированными и критериально - ориентированными тестами заключается в том, что первые предназначены для ранжирования, упорядочивания , или определения "расстояния" результатов индивидуума от результатов некоторой типичной группы, послужившей основой для разработки норм. Вторые же сопоставляют результаты с принятыми классами или эталонами. Если первые используются для получения фиксированной выборки (N лучших, независимо от их реального уровня), то вторые определяют деление группы испытуемых на классы, обеспечивая, таким образом, выборку с заданными характеристиками. Индивидуально-ориентированные тесты предназначены для измерения успехов индивидуума с точки зрения его предыдущих результатов.

Основными характеристиками тестов независимо от их вида и содержания являются надежность и валидность. Надежность определяется согласованностью показателей, получаемых по аналогичным тестам. Различные типы оценок надежности отличаются факторами, которые приняты в качестве источника ошибки: временные изменения, различия в серии параллельных заданий, их несогласованность и т. п. Валидность определяет связь теста с измеряемой характеристикой. Вычисление обеих характеристик чаще всего основано на сопоставлении полученных результатов с результатами выполнения других тестов, надежность и валидность которых уже установлена.

Использование компьютеров в образовании позволило не только усовершенствовать организационную сторону тестирования, но и использовать новые психологические теории и математический аппарат для создания и обработки результатов тестов. К преимуществам компьютерного тестирования относятся: стандартизация представления заданий и проведения тестирования, зашита информации, вариабельность средств визуализации, сокращение времени на подготовку тестов и обработку результатов, возможность централизованного хранения и распространения тестов, а также статистической обработки результатов.

тестовый контроль программный знание

2. Требования к системам компьютерного контроля знаний

Можно разграничить на общие требования к программному обеспечению, ориентированному на взаимодействие с пользователем, и требования, обусловленные методическими особенностями компьютерного контроля знаний.

К общим требованиям относят требования к дизайну пользовательского интерфейса, удобству человеко - компьютерного взаимодействия и функциональной обоснованности структуры команд и операций. Более подробную информацию можно получить из следующих источников.

-Пользовательский интерфейс. Справочная система разработчика от Microsoft (User Interface)

-Разработка пользовательского интерфейса и тестирование удобства использования

-Пользовательский интерфейс и удобство использования

Рассмотрим требования к системе тестового контроля знаний.

.1 Ограничение времени

Контроль знаний в форме тестирования имеет жесткие ограничение во времени. Это обусловлено сильной взаимосвязью между длительностью тестирования и достоверностью результатов. Общепринятого подхода к определению времени тестирования нет, часто разработчики разнообразных тестов оставляют этот вопрос на усмотрение преподавателя. Авторам кажется наиболее предпочтителен метод определения длительности тестирования, когда времени отводиться ровно столько, чтобы 5% всех обучаемых ответили на все вопросы теста. Если времени существенно больше, то многими обучаемыми может быть дан правильный ответ с использованием ассоциативных знаний, что отрицательно сказывается на достоверности результатов. Если времени существенно меньше, то некоторые задания не будут предъявлены обучаемым вообще, что снижает дискриминативность (дифференцирующую способность) теста в целом.

.2 Поддержка различных типов тестовых вопросов

С педагогической точки зрения наиболее предпочтителен открытый тип вопроса, когда на заданный вопрос обучаемым дается краткий или развернутый ответ в произвольной форме. Механизмы компьютерной обработки этого типа вопроса лежат в области машинного анализа естественного языка и являются в настоящее время областью активного научного поиска. Простых, практически применимых алгоритмов машинного анализа естественного языка в настоящее время не создано. Поэтому используют алгоритмы анализа ответа на открытый вопрос, налагающие существенные ограничениями на формулировку вопроса и формат ответа. Перечислим основные способы обработки ответов на открытый вопрос.

1.Ответ обучаемого сравнивается посимвольно с образцовым ответом, при абсолютном совпадении ответ считается верным, иначе - нет.

2.Ответ обучаемого также посимвольно сравнивается с образцовым, только происходит некоторая предварительная обработка спецсимволов (повторяющиеся пробелы, "висячие" пробелы, знаки препинания и др.) и регистра символов (преобразование к одному регистру в случае проверки без учета регистра).

.Образцовый ответ представляет собой набор слов, присутствие которых в ответе пользователя обязательно и тех, присутствие которых недопустимо (метод ключевых слов).

.Образцовый ответ представляет собой множество ответов, заданных неявно в виде шаблона определенной структуры. Во время проверки ответ пользователя подставляется в структуру шаблона и проверяется на соответствие ей либо из шаблона продуцируются все варианты ответа и посимвольно (возможно с предварительной обработкой) сравниваются с ответом пользователя.

Значительно большей популярностью пользуются различные виды закрытого вопроса. Это обусловлено особенностью вопроса закрытого типа, в котором количество вариантов ответов обычно небольшое, но всегда ограниченное количество. Алгоритмы, устанавливающие принадлежность ответа пользователя к классу правильных ответов достаточно просты. Существует множество разновидностей вопроса закрытого типа, в частности в спецификации IMS QTI (<#"justify">1.Выбор единственного варианта ответа (альтернативный выбор). В этом случае обучаемому предъявляется вопрос и несколько вариантов ответов на него, из которых требуется выбрать единственный правильный ответ. Следует с осторожностью использовать количество ответов меньшее четырех, т.к. при этом высока вероятность угадывания правильного ответа. Максимальное количество вариантов ответов обычно не ограничивается, однако большое количество альтернатив увеличивает время на ответ сложность разработки вопроса, поскольку в ряде случаев непросто правильно подобрать большое количество дистракторов (умышленно неправильных вариантов ответа). Разновидностью альтернативного вопроса является выбор наиболее правильного ответа из нескольких. При оценке выполнения задания сопоставляется номер указанного обучаемым ответа с номером правильного.

2.Выбор нескольких вариантов ответов (множественный выбор). Этот вид вопроса отличается от предыдущего возможностью выбора нескольких правильных ответов. Допускается, хотя и не рекомендуется, ситуация, когда правильны все варианты ответа, либо правильных ответов нет вовсе. При оценивании номера ответов обучаемого сравниваются с номерами правильных ответов. Возможны два метода оценки ответа на вопрос этого вида. Во-первых, в случае полного совпадения набора номеров ответов указанных обучаемым с правильным набором ответов, задание считается выполненным, иначе не выполненным. Во-вторых вычисляется количество совпадения ответов обучаемого с правильными и результатом является степень правильности ответа. В последним случае возможно использование веса для каждого варианта ответа.

.Установление соответствия. Обучаемому предъявляется формулировка вопроса и два столбца с некоторым количеством элементов в каждом. Количество элементов в столбцах может быть не равным. От обучаемого требуется каждому элементу одного столбца поставить в соответствие один или несколько элементов из другого столбца. Оценивание выполняется путем проверки набора соответствий, указанных обучаемым правильному набору. Как и для предыдущего вида вопроса возможен строгий или частичный метод оценки.

.Восстановление правильной последовательности. Обучаемому требуется некоторое множество элементов расставить по порядку в соответствии с определенным признаком. Этот вопрос является разновидностью предыдущего, в случае, когда один столбец содержит элементы, характеризующие последовательность элементов другого столбца (Например, 1, 2, 3, … либо «первый», «второй», «третий» и т.д.)

.Разбиение по группам. Имеется набор элементов, каждый из которых требуется отнести к определенной группе. Это также разновидность вопроса на соответствие, когда один столбец представляет собой набор исходных элементов, а второй наименование групп.

.Указание области. Требуется указать одну или несколько областей определенной формы на рисунке. Форма области может быть - точечная (указывается точка), круглая (овальная), квадратная (прямоугольная), многоугольная, произвольная.

.Разновидностью этого вопроса является вопрос на указание момента (диапазона) при воспроизведении аудио- (видео-) фрагмента. Оценивается совпадение указанной обучаемым областей с заданными с определенной точностью.

.3 Особенности интерфейса

Программа взаимодействует с разными категориями пользователей, выдвигающими различные требования к пользовательскому интерфейсу. Разработчикам требуется больше функциональных возможностей, обучаемым важно иметь интуитивно понятный интерфейс. При прохождении тестирования обучаемым в каждый момент времени желательно предоставить как можно больше информации о процессе тестирования в целом. Однако, форма представления этой информации должна быть такой, чтоб не отвлекать внимание и не способствовать утомляемости или повышению нервного напряжения обучаемого.

Возможность внедрения мультимедиа информации в вопрос является существенным плюсом программы тестового контроля знаний. Обычно внедренная графическая и видеоинформация отображается в специальной области при предъявлении вопроса обучаемому, а аудиоинформация воспроизводится в фоновом режиме. Более сложной в реализации, но открывающей широкие возможности представляется обеспечение возможности внедрения мультимедиа информации как в контент формулировки вопроса, так и в контент вариантов ответа. Причем графическая информация отображается непосредственно, для воспроизведения каждого видеофрагмента отводится область необходимого размера, снабженная элементами управления воспроизведением, места внедрения аудио фрагментов содержат элементы управления воспроизведением этих фрагментов.

Положительным качеством программы является поддержка декоративного оформления текста вопроса и вариантов ответа. Это дает возможность разнообразить внешний вид вопросов или выделить отдельные элементы вопроса (расставить акценты), что способствует меньшей утомляемости обучаемого во время проведения тестирования, и более быстрому пониманию сути вопроса.

.4 Возможности формирования и представления набора заданий

Тест в классическом понимании - инструмент для измерения уровня знаний обучаемого, практически апробированный и математически обоснованный. Отличительная особенность теста - высокая достоверность получаемых результатов - способствует его популярности как формы контроля знаний. При этом разработка такого инструмента требует усилий специалистов разного профиля (педагоги, психологи, эксперты и др.) и является не простой задачей. Тем более, что применение теста на одном контингенте обучаемых более одного раза отрицательно сказывается на достоверности результатов. В случаях, когда очень важно располагать объективной информацией об уровне знаний обучаемых (вступительные экзамены, выпускные экзамены, квалификационные экзамены и др.) затраты на разработку тестов можно считать оправданными. В случае проведения промежуточного (рубежного) контроля, дисциплинарных экзаменов, когда важно с высокой степенью достоверности контролировать уровень знаний обучаемых, но затраты на разработку полноценных тестов неоправданно велики, применяют ряд методов, позволяющих повторно использовать разработанные варианты тестов с незначительным уменьшением достоверности и некоторых других характеристик теста (надежность, валидность).

Некоторые методы позволяют применять однажды разработанный тест на различных группах одного потока, некоторые даже для повторного тестирования одной группы обучаемых.

1.Управление порядком предъявления. В классической теории тестирования рекомендуется задания теста сортировать в соответствии с возрастанием трудности, т.к. это облегчает последующий анализ результатов. Но так как в настоящее время широко известны алгоритмы анализа результатов на задания, не упорядоченные по трудности, то придерживаться этой рекомендации нет строгой необходимости. Применение автоматически генерируемой случайной последовательности предъявления тестовых заданий позволяет повторно использовать тест на разных группах обучаемых одного потока или одной специальности. Возможен смешанный метод формирования порядка предъявления заданий, когда порядок задания внутри определенной группы (группы могут быть сформированы по разному признаку, например, тип вопроса, тема, проверяемый уровень усвоения и др.) перемешивается, а сами группы вопросов предъявляются последовательно. Для закрытого типа вопроса с выбором ответов вполне обоснована возможность изменения порядка вариантов ответов случайным образом.

2.Генерации случайного набора заданий. Для каждого обучаемого генерируется индивидуальный набор заданий в соответствии с заданным критериями. Этот метод предполагает наличие обширной базы тестовых вопросов. Особое внимание следует уделить обеспечению одинаковой трудности полученных наборов тестовых заданий. Критериями может являться информация о количестве вопросов определенного типа, трудности, относящихся к определенной теме и др., и их порядке предъявления.

.Автоматическая генерация тестовых заданий. Это тестовое задание представляет собой набор неизменных элементов и параметров. Параметры содержат правила генерирования значения. Это может быть информация о диапазоне и точности, либо порождающая формула для параметра числового типа или для параметра произвольного типа набор значений, из которых конкретное значение выбирается случайным образом или по определенному правилу. Этот метод с лёгкостью допускает использование тех же вариантов тестовых заданий повторно на одной группе обучаемых.

Особо следует выделить метод адаптивного тестирования. Достоинством этого метода является то, что он определяет уровень знаний обучаемого при минимальном количестве заданных вопросов (а значит за минимальное время), с требуемым уровнем достоверности. Ограничением применения адаптивного теста является сложность разработки вариантов тестовых заданий для него. Тестовые задания должны выть распределены по классам сложности и в каждом классе заданий должно быть несколько. Чем больше классов сложности, тем больше чувствительность теста и тем труднее подобрать задания одинаковой сложности.

.5 Использование централизованной базы данных

Рассмотрим преимущества использования программой тестового контроля знаний централизованной базы данных в нескольких аспектах:

1.База тестов.

Больше работ по теме: