Адаптивная интеллектуальная обучающая система

Цель работы — создание современной адаптивной интеллектуальной системы с использованием новейших технологий машинного обучения для автоматизации значительной части работы преподавателя. Существующие интеллектуальные системы, целью которых является подготовка слушателей для работы в разных предметных областях, на текущий момент имеют целый ряд недостатков, например, это необходимость подготовки учебного материала заданного формата, часто весьма трудоемкого по временным затратам. Помимо этого, подобные системы ориентированы на оценку знаний для корректировки плана обучения слушателей, что обусловливает необходимость разработки различных практических заданий для их формального представления. При этом практические задания должны составляться автором курса, что также может оказаться достаточно трудоемким. Новизна представленной в работе адаптивной интеллектуальной системы заключается в попытке усовершенствования подходов к обучению с помощью новейших методов машинного обучения. В помощь преподавателю для подготовки учебных курсов предлагается создавать видеоматериал в автоматическом режиме. Этот подход дает возможность слушателям получать материал не только в текстовом виде, но и в формате видео, без увеличения объема подготовительной работы преподавателя. Кроме того, преподавателю будут предоставлена возможность редактирования учебных материалов в соответствии со статистикой успеваемости обучающихся, которая содержится в системе.

Введение

Развитие информационных технологий привело к значительным изменениям в образовательной сфере, в том числе к появлению всё большего числа интеллектуальных обучающих систем (ИОС), то есть систем электронного обучения, содержащих в себе элементы искусственного интеллекта, благодаря которым достигается эффект адаптивности в обучении студентов [8]. Популярность интеллектуальных обучающих систем объясняется доступностью такого рода обучения, преимуществами которого являются: возможность дистанционного взаимодействия, то есть обучения из любой точки мира при наличии оперативной обратной связи с преподавателем, а также гибкость, позволяющая обучать учащихся, ориентируясь на их индивидуальные особенности. Это говорит об особой значимости современных интеллектуальных обучающих систем.

Цель проводимого исследования заключается в разработке адаптивной интеллектуальной обучающей системы с использованием современных технологий машинного обучения для автоматизации значимой части работы преподавателя за счет использования следующих функций:

• автоматизированная подготовка учебного материала;
• предоставление учебного материала;
• предоставление ответов на вопросы;
• составление индивидуальных планов обучения в соответствии с успеваемостью обучающихся;
• анализ статистики по успеваемости обучающихся и оценка учебных материалов (например, степени сложности учебного курса, а также соотнесенности практических заданий и теоретического материала) для информирования преподавателя;
• оповещение других преподавателей учебного курса об обновлении тематического учебного материала наработками из других курсов;
• подготовка обновленных учебных материалов с помощью систем контроля версий.

Предполагается, что данная адаптивная интеллектуальная обучающая система будет внедрена в состав курса по программированию, анализу данных и машинному обучению. Для реализации системы предполагается составление баз знаний на основе указанных дисциплин, интеграция их в разработанную адаптивную интеллектуальную обучающую систему и внедрение её в образовательный процесс. Отличие данной системы от других заключается в помощи преподавателю в подготовке учебного материала.

Интеллектуальные обучающие системы

Интеллектуальные обучающие системы (ИОС) – это компьютерные программы и технологии, которые помогают людям получать новые знания и приобретать умения [5]. Они могут использоваться в образовательных учреждениях, в системе корпоративного обучения, в онлайн-курсах и многих других сферах.

Такие системы часто основываются на методах машинного обучения, с тем чтобы адаптироваться к потребностям и запросам конкретного пользователя и помочь ему расширить свои знания и навыки. Интеллектуальные обучающие системы могут предоставлять персонализированные материалы, задания, тесты и диагностические инструменты, которые помогают пользователям учиться с большей эффективностью и быстрее достигать своих целей.

Определение обучающим программам дал в своих работах В. А. Петрушин, в частности он придерживается следующего подхода: «В общем случае обучающие программы считаются интеллектуальными, если они обладают способностью: генерировать учебные задачи; решать задачи, предъявляемые обучаемому, используя методы представления знаний об изучаемой дисциплине; определять стратегию и тактику ведения диалога; моделировать состояние знаний обучаемого; самообучаться на основе анализа результатов взаимодействия с обучаемыми. Однако на практике многие обучающие программы, называемые интеллектуальными, обладают только некоторыми из приведенных выше способностей» [4].

ИОС состоит из четырех компонентов [2, 6]:

• модель обучаемого (содержит информацию о выбранной стратегии обучения студента и совершаемых им ошибках);
• модель наставника (контролирует процесс обучения студента, установление ряда тестовых испытаний и оценку студента);
• модель предметной области;
• модель интерфейса.

В целом ИОС основываются на следующих принципах [2]:

1. принцип прагматичной диагностики (создание каркаса учебного плана и структуры подчинения системы диагностики ошибок студента курса системе менеджмента обучения);
2. принцип сопоставления текущей модели студента с моделью идеального (сопоставление учебного плана, который представлен набором заданий и/или вопросов, с перечнем уже выполненных студентом заданий);
3. принцип «порождающих интерфейсов» (подбор и корректировка разных по содержанию элементов учебного процесса в зависимости от конкретных потребностей обучающегося и его знаний на момент подбора);
4. принцип неэквифинальности обучения (включает различные подходы к представлению обучающего процесса на основе уровня знаний студента определенного курса);
5. принцип необходимого разнообразия обучающих воздействий (подразумевает, что преподаватель должен иметь глубокие знания о возможных вариантах воздействия на обучающегося).

Модель обучаемого является инструментом для измерения его характеристик, необходимых для управления процессом обучения.

В качестве модели обучаемого зачастую используют оверлейные модели [2]. Рассмотрим некоторый набор знаний, который представляет собой совокупность понятий (терминов, определений и т.п.), либо умений (например, решать задачи машинного обучения), соответствующих данному курсу. Такой набор знаний представляет собой иерархическую структуру, дерево, где выше расположены некоторые элементарные знания, а ниже – более сложные, требующие тех знаний, что расположены выше. Оверлейная модель представляет собой подмножество таких иерархических структур, элементы которого требуется изучить для овладения какой-либо специальностью. Таким образом, ее смысл заключается в том, чтобы оценить, насколько знания конкретного пользователя перекрываются рассматриваемыми моделями предметной области. При этом для понимания уровня пользователя используется разность между моделью предметной области и моделью пользователя [3]. Ядро оверлейной модели математически выражается следующим образом:

Организация учебного процесса при помощи ИОС заключается в последовательном выполнении следующих шагов:

• создание учебного материала (теоретический материал, задания, тесты);
• настройка интерактивной поддержки процесса решения практических задач (например, привлечение интерактивного помощника, который предлагает небольшие подсказки, дает ссылки на теоретический материал по задаче, выдает мотивирующие сообщения).

Модель предметной области

Модель предметной области представляет собой набор знаний, которые необходимо усвоить студенту. Модель предметной области можно представить в виде иерархической структуры – дерева, в котором родители-узлы являются элементами набора знаний, необходимыми для усвоения элементов детей-узлов дерева. Такая система представления знаний имеет следующие преимущества:

• предметная область декомпозируется на отдельные элементы научного знания, благодаря чему с ней становится проще работать как преподавателю, так и студенту;

• программа обучения (совокупность курсов для освоения какой-либо профессии) представляет собой совокупность моделей предметных областей, благодаря этому упрощается взаимодействия преподавателей связанных курсов обучения – при обновлении учебного материала одного курса автор другого связанного курса может получить уведомление об этом;

• данное представление предметной области позволяет оценить сложность каждого элемента набора знаний как сумму входящих ответвлений, то есть сложность в данном случае определяется как количество элементов, требуемых для усвоения указанного узла дерева.

Анализ существующих решений

В ходе исследования уже существующих решений были проанализированы следующие ИОС на соответствие вышеуказанному функционалу (рассматривались системы для обучения техническим наукам).

ZOSMAT представляет собой ИОС, в первую очередь предназначенную для обучения математике, однако ее можно адаптировать под технические науки. ZOSMAT не полностью отвечает вышеуказанному функционалу [9] ввиду того что:

• отсутствует автоматизированная подготовка учебного материала;
• отсутствует модуль представления ответов на вопросы, присутствует лищь так называемый «банк вопросов», предназначенный только для оценки знаний студента;
• отсутствует система контроля версий материала;
• статистика по успеваемости студентов присутствует, однако нет общей статистики для конкретного элемента учебных материалов модели предметной области, и помимо этого, отсутствует оценка сложности учебного материала;
• отсутствует оповещение об обновлении связанного учебного материала для преподавателей.

Также большим недостатком является недоступность данной системы – ее исходный код не является открытым, кроме того, большая часть подобных разработок является проприетарной.

OATutor и Thesis-ITS – проекты с открытыми исходными кодами адаптивных обучающих систем, построенных на принципах ИОС [11]. Оба проекта не соответствуют необходимому функционалу, однако, в отличие от OATutor, Thesis-ITS имеет интерфейс для редактирования учебного материала – в OATutor его нет, для этого необходимо редактировать отдельные текстовые файлы любым текстовым редактором.

Все перечисленные выше разработки – наиболее подходящие по функционалу из множества существующих систем ИОС, но не вполне отвечающие установленным требованиям, что говорит о возможной актуальности реализации ПО с указанным функционалом. 

Архитектура интеллектуальной обучающей системы

Архитектура разрабатываемой системы (рис. 1) состоит из следующих основных компонентов [2, 6]:

• модель предметной области (хранение элементов учебного материала курса);
• модель ученика (представление и хранение информации об отдельном учащемся, включая его знания, навыки, предпочтения в обучении, неправильные представления и другие соответствующие характеристики);
• модель наставника (управление взаимодействием между системой и учеником);
• модель пользовательского интерфейса (коммуникация системы с учеником).

Помимо основных компонентов можно также выделить новые дополнительные компоненты, предоставляющие различные функции:

• модуль работы с учебным материалом (предоставление инструментов для автоматизированной подготовки учебного материала).

Автоматизированная подготовка учебного материала

Автоматизированная подготовка учебного материала позволяет автоматически генерировать видеолекции по заданному текстовому материалу и входит в компонент модуля работы с учебным материалом, указанным на рис. 1.

На данный момент для подготовки текстового материала предлагается язык разметки Markdown [10]. С помощью данного языка описываются слайды презентации, которые затем будут автоматически озвучены с помощью нейросетевой модели.

Для программной реализации данного компонента были использованы следующие инструменты:

• язык программирования Python версии 3.8 для реализации CLI-утилиты генерации видеолекций;
• открытая нейросетевая модель Silero TTS для генерации озвучки;
• CLI-утилита Marp для генерации изображений слайдов презентации;
• CLI-утилита ffmpeg для накладывания озвучки на слайды презентации.

Архитектура нейросетевой модели Silero TTS

В качестве основы архитектуры нейросетевой модели Silero TTS используется архитектура Tacotron 2.

Tacotron2 – это архитектура sequence to sequence (см. рис. 2) [13]. Она состоит из:

• кодировщика, который создает некоторое внутреннее представление о входных данных (символьных токенах);
• декодировщика, который преобразует это представление в мел-спектрограмму;
• PostNet, который призван улучшить спектрограмму, сгенерированную декодировщиком.

Рассмотрим подробнее архитектуру кодировщика. Кодировщик состоит из следующих элементов:

• embedding слой, который на основании последовательности натуральных чисел, представляющих символы, создает многомерные векторы;
• три одномерных сверточных слоя, за каждым из которых следует нормализация по мини-батчам и активационная функция ReLU;
• двунаправленные LSTM-слои, которые в качестве входных данных получают тензоры из сверточного блока.

Декодировщик в Tacotron2 имеет рекуррентную архитектуру: декодировщик в качестве входных данных использует свои выходные данные, но с предыдущего шага, причем в виде одного фрейма спектрограммы [13]. Помимо этого декодировщик использует механизм обучаемого внимания.

Декодировщик на каждом своем шаге формирует контекстный вектор и обновляет веса внимания согласно следующим правилам:

Сравнение архитектуры с другими подходами представлена в таблице 1 [13].

Сама архитектура Tacotron 2, используемая в Silero TTS, модифицирована с помощью подхода Accentor, который решает проблему расстановки ударений с помощью ручного управления расстановки ударения пользователем [7

Программная реализация автоматизированной подготовки учебного материала

Этапы генерации видеолекции (см. рис. 3):

1. Описание автором курса слайдов презентации с помощью модифицированного Markdown.
2. Генерация слайдов в виде изображений, исходя из их описания.
3. Озвучивание каждого слайда с помощью нейросетевой модели.
4. Склеивание слайдов и речи.

Рис. 3: Этапы генерации видеолекции

Процесс подготовки учебного материала происходит следующим образом: автор курса подготавливает учебный материал в письменном виде, задает структуру презентации, а затем описывают свою презентацию с помощью небольшого диалекта языка разметки Markdown, который был специально разработан для данного ПО. Данный вариант языка немного отличается от стандартного Markdown. Рассмотрим некоторые отличия:

• каждый заголовок описывает свой слайд, слайды отделяются друг от друга с помощью тройных дефисов;
• для каждого слайда доступны специальные управляющие инструкции, на момент написания данной статьи доступна только одна инструкция:

  • «/speech» - данная управляющая инструкция позволяет задавать для конкретного слайда речь для его озвучки.

Примером разметки презентации может служить листинг 1.

Для озвучивания слайдов рассматривались различные подходы:

• Coque TTS — библиотека Python для генерации речи по заданному тексту (в частности в тестировании участвовала нейросетевая модель xtts_v2);

• Google Speech-To-Text — интернет-сервис Google для генерации речи;

• Silero TTS — предобученная нейросетевая модель для генерации речи [12], представленная Silero.

Для сравнения подходов проводилось тестирование на восприятие речи обучающимися. В результате был выбран Silero TTS как менее роботизированный голос по сравнению с другими и одна из небольшого количества моделей, которая была обучена для синтеза речи на русском языке.

Реализованное ПО предоставляет два типа интерфейса для автоматической генерации видеолекций:

• CLI;

• Web-интерфейс.

Примеры работы с Web-интерфейсом представлены на рис. 4 и 5.

Рис. 4: Скриншот веб-интерфейса

Рис. 5: Скриншот генерации видео в веб-интерфейсе

Заключение

В данной работе был сделан анализ существующих ИОС на предмет соответствия заданной функциональности, который показал отсутствие необходимых для этого разработок и тем самым подтвердил актуальность данного исследования. Далее была разработана архитектура системы, а также был разработан один из ее компонентов. Планируется дальнейшее расширение функционала разработанного компонента, в частности добавление новых управляющих инструкций. Помимо этого, планируется исследование подходов к автоматизированному составлению практических заданий и дальнейшая разработка компонентов адаптивной интеллектуальной обучающей системы.

1. Аванский С. М., Затылкин А. В., Юрков Н. К. Представление модели пользователя и предметной среды обучения //Труды Международного симпозиума «Надежность и качество». – 2007. – Т. 1. – С. 66-67.
2. Алешева Л. Н. Интеллектуальные обучающие системы //Вестник университета. – 2018. – №. 1. – С. 149-155.
3. Интеллектуальное управление процессом обучения. Анализ и проектирование систем [Электронный ресурс] // URL: https://habrahabr.ru/post/194240/ (дата обращения: 20.11.2023).
4. Петрушин В. А. Экспертно-обучающие системы //К.: Наук. Думка. – 1992.
5. Юрков Н. К. Интеллектуальные компьютерные обучающие системы //Пенза: Изд-во ПГУ. – 2010.
6. Alkhatlan A., Kalita J. Intelligent tutoring systems: A comprehensive historical survey with recent developments //arXiv preprint arXiv:1812.09628. – 2018.
7. Geneva D. et al. Accentor: An Explicit Lexical Stress Model for TTS Systems.
8. How intelligent tutoring systems are changing education [Электронный ресурс] // URL: https://medium.com/@roybirobot/how-intelligent-tutoring-systems-are-changing-education-d60327e54dfb (дата обращения: 10.06.2023).
9. Keleş A. et al. ZOSMAT: Web-based intelligent tutoring system for teaching–learning process //Expert Systems with Applications. – 2009. – Т. 36. – №. 2. – С. 1229-1239.
10. Lecture Automator [Электронный ресурс] // URL: https://github.com/CapBlood/lecture-automator (дата обращения: 30.05.2023).
11. Pardos Z. A. et al. Oatutor: An open-source adaptive tutoring system and curated content library for learning sciences research //Proceedings of the 2023 chi conference on human factors in computing systems. – 2023. – С. 1-17.
12. Silero Models [Электронный ресурс] // URL: https://github.com/snakers4/silero-models (дата обращения: 10.06.2023).
13. Shen J. et al. Natural tts synthesis by conditioning wavenet on mel spectrogram predictions //2018 IEEE international conference on acoustics, speech and signal processing (ICASSP). – IEEE, 2018. – С. 4779-4783.
14. Thesis-ITS [Электронный ресурс] // URL: https://github.com/robertoguazon/Thesis-ITS/wiki (дата обращения: 10.06.2023).