Реализация механизмов оценки качества образовательных услуг: информационно-аналитическая система ИАС МК

В статье представлены задачи оценки текущего состояния качества образовательных услуг, описаны принципы построения информационно-аналитической системы мониторинга качества образовательных услуг (ИАС МК), которая обеспечивает решение экспертно-аналитических задач, формирование рекомендаций по повышению качества для администрации образовательного учреждения.

С учетом повышения требований государства и общества к качеству предоставляемых образовательных услуг информационно-аналитическое обеспечение мониторинга качества образования призвано обеспечить эффективность управления образовательным учреждением, оперативность реагирования на вызовы современного рынка - как со стороны работодателей, так и со стороны потребителей образовательных услуг (общества, государства).

Ранее в статье [1] были предложены подходы к решению задач оценки текущего состояния качества образовательных услуг и описаны соответствующие нечетко-логические и нечетко-множественные модели. Настоящая статья описывает практическую реализацию предложенных подходов и моделей - информационно-аналитическую систему мониторинга качества образовательных услуг (ИАС МК).

Областью применения ИАС МК является: 1) определение степени достижения целей в области качества образовательных услуг; 2) оценка рисков снижения качества образовательных услуг; 3) оценка рисков недостижения поставленных целей; 4) оценка степени удовлетворенности качеством образовательных услуг.

ИАС МК характеризуется:

•        видами аналитической информации, которая требуется лицу, принимающему решение (ЛПР), для определения степени достижения поставленных целей в области качества, степени удовлетворенности качеством (со стороны субъектов образовательной деятельности), рисков снижения качества образовательных услуг;

•        методами и моделями мониторинга качества образовательных услуг, которые реализуют анализ качества по соответствующим характеристикам;

•                              совместимостью с информационной системой образовательного учреждения.

Значительные объемы информации, сложность учета внешних факторов, большое число количественных и качественных показателей, неформальных элементов обусловливают требования, предъявляемые к ИАС МК [2, 3]. Такими основными требованиями являются:

•        наличие развитой информационной базы с возможностью оперативного поиска требуемой информации;

•        обеспечение оперативной связи с источниками информации (субъектами удовлетворенности качеством образовательных услуг, экспертами);

•        наличие диалоговых программных средств, обеспечивающих формирование рекомендаций для принятия решений на основе математических моделей анализа информации;

•        наглядность представления информации в форме, удобной для восприятия (в виде таблиц, графиков, диаграмм, словесных рекомендаций);

•                              простота работы, достигаемая использованием доступных программных средств.

Функционально ИАС МК состоит из   следующих трех подсистем (рис. 1):

•        подсистема ведения данных образовательного учреждения (с учетом справочной информации, основных сведений, информации об удовлетворенности качеством образовательных услуг, совокупностей продукционных правил для формирования рекомендаций по повышению удовлетворенности качеством, уменьшению рисков снижения качества предоставляемых образовательных услуг);

•        подсистема анализа основных показателей качества образовательных услуг (с учетом определения степени удовлетворенности качеством, а также возможных рисков снижения качества);

•        подсистема формирования отчетности по соответствующим запросам (включающей таблицы, графики, диаграммы, комментарии, рекомендации).

Рис. 1. Функциональный состав ИАС МК

Взаимодействие методов и моделей мониторинга качества образовательных услуг (рис. 2) непосредственно определяет функционирование трех указанных выше подсистем. Первая подсистема выполняет сбор показателей, измеряющих долю соответствия поставленным целям в области качества, а также степень удовлетворенности субъектов удовлетворенности (сотрудников и профессорско-преподавательский состав, обучающихся, выпускников, работодателей) качеством образовательных услуг. Вторая подсистема позволяет провести анализ отклонений от поставленных целей в области качества и определить степень достижения этих целей с применением методов, основанных на теории нечеткого логического вывода [2, 4, 5, 6]. Второй функцией этой подсистемы является сопоставление показателей удовлетворенности качеством образовательных услуг (по каждому из направлений деятельности) с полученными от субъектов удовлетворенности оценками и формирование на основе этого сопоставления рекомендаций по направлениям, требующим корректирующих и предупреждающих действий [2, 4, 7]. Наконец, третья функция подсистемы связана с анализом рисков снижения качества образовательных услуг, рисков недостижения поставленных целей [1, 7, 8, 9]. Третья подсистема генерирует рекомендации ЛПР для принятия управленческих решений, а также формирует аналитические отчеты с подтверждающими таблицами, графиками, диаграммами, предназначенными для ЛПР.

Ядром информационного обеспечения ИАС МК является тесно связанные между собой база знаний и база данных. База знаний содержит совокупность нечетких продукционных правил по степени достижения целей в области качества и степени удовлетворенности 82

качеством образовательных услуг. Продукционные правила формируются перебором всех допустимых условий/следствий (например, ЕСЛИ <количество абитуриентов меньше установленных контрольных цифр> ТО <активизировать проведение рекламных мероприятий> ИЛИ <повысить информированность общества> ИЛИ <повысить имидж вуза> ИЛИ <снизить стоимость обучения> и т.д.) [8, 9, 10].

Кроме того, база знаний содержит информацию по когнитивным картам (КК), использующимся при оценке рисков снижения качества. Когнитивная карта представляет собой взвешенный ориентированный граф, вершинам которого сопоставлены концепты (факторы), а ребрам - веса связи между концептами [9, 10]. Анализ рисков снижения качества образовательных услуг, основанный на когнитивном подходе к моделированию и управлению, позволяет разработать формальные модели и получить количественную оценку негативных последствий, влияющих на качество образовательных услуг.

Данные мониторинга и процедуры извлечения знаний, проводимые аналитиками на этапе построения и модификации продукционных правил, позволяют экспертам сформировать список концептов когнитивной карты для исследования возможных причин несоответствия целям в области качества образовательных услуг, а также выделить наиболее проблемные показатели (концепты), риск недостижения которых достаточно велик или значения которых не соответствуют целевым. При этом совокупность продукционных правил позволяет формировать рекомендации по улучшению качества образовательных услуг при принятии управленческих решений ЛПР.

База данных организована в виде обычной реляционной БД и содержит справочники, сведения о студентах, сотрудниках, работодателях, форматы отчетов и т.д.

Рис. 3.  Фрагмент Web-страницы анкеты для оценки степени удовлетворенности работодателей

Результаты заполнения анкет можно просмотреть с помощью программного продукта «Битрикс: Управление сайтом» и выполнить экспорт в Microsoft Excel для дальнейшей обработки результатов.

Схема информационно-аналитического обеспечения мониторинга качества (рис. 4) отражает взаимодействие программных инструментов каждой из описанных подсистем мониторинга качества образовательных услуг. Это взаимодействие включает: 1) сбор информации о степени удовлетворенности качеством образовательных услуг, о значимости связей между концептами когнитивной модели, о состоянии процессов, обеспечивающих образовательные услуги; 2) анализ данных по удовлетворенности качеством образовательных услуг, степени достижения целей в области качества, рискам его снижения; 3) формирование рекомендаций по повышению качества образовательных услуг в виде отчетов, аналитических записок, включающих исследуемые критерии, анализ ключевых показателей, графическое отражение результатов, рекомендации для принятия управляющих воздействий ЛПР.

Рис. 4. Схема информационно-аналитического обеспечения мониторинга качества

Использование Web-сайта обеспечивает оперативное взаимодействие с экспертами, позволяет привлекать мобильных экспертов (рис. 4). Применение программного продукта «Битрикс: Управление сайтом» при создании сайта обосновано тем, что 1) процесс управления сайтом полностью автоматизирован, 2) управление сайтом возможно в многопользовательском режиме с распределением прав доступа, 3) предоставляется возможность развивать, изменять и создавать новые компоненты за счет поставки в открытых исходных текстах.

Доступ к формам посредством Web-интерфейса позволяет избежать бумажных документов при сборе информации по анкетным опросам, первичным когнитивным картам оценки рисков снижения качества образовательных услуг и, в принципе, вообще избежать первичной обработки информации в бумажном виде. С этой целью применяется модуль опросов в «Битрикс: Управление сайтом», который предназначен для сбора информации, проведения онлайновых опросов, анкетирования, маркетинговых исследований, предусматривает возможность настройки системы статистики для хранения нужного объема данных, оптимальной скорости работы, возможность экспорта любых данных из модуля статистики в формат Microsoft Excel для дальнейшего анализа.

Основные подсистемы ИАС МК реализованы на основе СУБД Microsoft Access и программных модулей на языке VBA. Применение Microsoft Access обосновано:

•      высокой степенью универсальности интерфейса;

•   возможностями интеграции с другими программными продуктами, входящими в состав Microsoft Office;

•      набором визуальных средств разработки;

•  удобством реализации базы данных (показатели, характеризующие качество образовательных услуг, сведения об абитуриентах, студентах, преподавателях и т.д.) и базы знаний (для формирования рекомендаций ЛПР по повышению качества образовательных услуг, степени достижения целей в области качества).

Программные инструменты подсистемы анализа данных ИАС МК включают Microsoft Excel, MatLab и Microsoft Access. Применение перечисленных программных инструментов обосновано широкой распространенностью, доступностью, понятным интерфейсом, совместимостью с другими программными продуктами.

При помощи стандартных функций MatLab, инструментов Database Toolbox (для работы с базами данных) и Fuzzy Logic Toolbox (для построения и анализа нечётких множеств) выполняется связь между Microsoft Excel и MatLab, которая обеспечивает обмен данными и их анализ.

В качестве примера результата работы ИАС МК рассмотрим особенности функционирования подсистемы определения степени удовлетворенности качеством образовательных услуг. Эта подсистема обеспечивает согласованные действия групп пользователей ИАС МК с целью определения степени удовлетворенности качеством предоставляемых образовательных услуг и позволяет проанализировать степень удовлетворенности качеством образовательной деятельности для разных субъектов этой деятельности (обучающихся, сотрудников, работодателей). Выяснение мнений субъектов удовлетворенности качеством образовательных услуг осуществляется посредством Web-опроса. Группы пользователей ИАС МК при реализации подсистемы определения степени удовлетворенности качеством образовательных услуг характеризуются следующим образом:

Служба качества - организует процесс сбора и анализа информации по удовлетворенности качеством образовательных услуг, реализует контроль основных этапов и осуществляет импорт данных и их конвертацию (рис. 5).

Рис. 5. Страница импорта и конвертации подсистемы определения степени удовлетворенности качеством образовательных услуг

Социологическая служба - осуществляет разработку анкетных опросов для определения степени удовлетворенности качеством образовательных услуг в соответствии с требованиями и направлениями исследования, а также обеспечивает анализ информации, полученной при анкетных опросах (рис. 6), вносит рекомендации по совершенствованию анкет и анализа результатов опроса, выполняет консультирование сотрудников службы качества и аналитиков по вопросам организации и проведения социологических опросов.

Аналитики - в соответствии с разработанными методами проводят анализ степени удовлетворенности качеством образовательных услуг (рис. 6), выполняют построение отчетов (субъект удовлетворенности, степень удовлетворенности по критериям, графическое отражение степени удовлетворенности по критериям) для более подробного анализа причин неудовлетворенности. Также в их функции входит уточнение формулировок рекомендаций по повышению удовлетворенности качеством предоставляемых образовательных услуг для всех субъектов образовательной деятельности и внесение предложений по повышению удовлетворенности качеством образовательных услуг для ЛПР (в том случае, если степень удовлетворенности не выше «частично удовлетворен и частично не удовлетворен») (рис. 7).

Рис. 6. Страница оценки степени удовлетворенности качеством образовательных услуг субъектами образовательной деятельности

Рис. 7. Страница рекомендаций по повышению удовлетворенности качеством образовательных услуг

Например, на рис. 7 приведены рекомендации по принятию корректирующих действий во взаимодействии с партнерами (образовательными учреждениями - «поставщиками» абитуриентов) для степени «частично удовлетворен и частично не удовлетворен». В качестве рекомендаций предлагается выбрать и провести предупреждающие действия из следующего перечня:

-         организовать профессиональное тестирование выпускников и абитуриентов;

-         разработать программы подготовительных и репетиционных курсов;

-         организовать встречи (круглые столы, конференции, семинары и т.д.) преподавателей кафедр вуза с преподавателями школ, лицеев, колледжей, техникумов и т.д.

Для степени удовлетворенности, начиная со «скорее не удовлетворен», формируются рекомендации по принятию корректирующих действий. Совокупность рекомендаций по критериям удовлетворенности разрабатывается аналитиками и вносится в базу знаний. Данная совокупность рекомендаций может обновляться при внесении изменений в направления деятельности и цели в области качества.

Информация для ЛПР представляется в графическом виде с использованием трехбалльной вербальной шкалы. Графическое отражение информации в виде радарной диаграммы позволяет проследить степень удовлетворенности для субъектов, а также по критериям удовлетворенности для каждого субъекта (рис. 8).

Рис. 8. Страница удовлетворенности качеством образовательных услуг для ЛПР