Новые миры образования: Трансформация обучения в эпоху искусственного интеллекта
Создание такого продукта требует не только высокотехнологичных разработок, но и глубокого понимания педагогических методик. Чтобы обеспечить максимальную эффективность и надежность использования LLM в образовании, необходимо создать качественные методы проверки их применимости к разработке конкретных учебных инструментов, в том числе ИИ-тьютора.
Наша команда провела большую работу по тестированию ведущих LLM России и мира. Мы разработали комплексный бенчмарк – набор тестов, нацеленных на проверку уровня понимания естественного языка, способностей к персонализированной поддержке учащихся и генерации качественных, педагогически обоснованных ответов, а также возможности обеспечения безопасного и этичного взаимодействия.
Тестирование проводилось на коммерческих продуктах и открытых решениях. В нем принимали участие модели от OpenAI, Google, Sber, Yandex, Mistral AI, Alibaba Cloud и их производные. Модели от OpenAI зарекомендовали себя как наиболее эффективные, демонстрируя высокий уровень понимания контекста и способность к поддержанию содержательных диалогов, однако они показали слабые результаты в задачах, связанных с обеспечением безопасности генерируемого контента. Модели GeminiPro (Google) и GigaChat-Pro (Sber) также могут рассматриваться для использования в задачах, связанных с разработкой ИИ-тьютора. Внедрение остальных моделей пока возможно только ограниченно из-за низкого качества результатов в ключевых задачах.
В целом результаты тестирования дают положительные предпосылки для активного внедрения LLM в российское образование. Разработки ведущих мировых и российских компаний демонстрируют высокий потенциал, однако требуют дополнительной настройки для соответствия нормативным требованиям и образовательным стандартам. Повышению эффективности применения LLM могут способствовать мультиагентные системы, объединяющие преимущества разных моделей.
Интерес к качественному и системному проектированию обучения привлек внимание специалистов к дизайну образовательного опыта (Learning Experience Design), который расширяет подходы педагогического дизайна и концентрируется на проектировании опыта, образовательной среды и восприятия процесса обучения студентами.
В этой сфере можно выделить несколько ключевых задач: анализ на разных этапах обучения, целеполагание, проектирование структуры и материалов обучения, сопровождение обучения и система оценивания. Важной задачей является создание промтов с учетом проверенных техник промт-инженерии, таксономии Блума и цикла Колба.
Создание промтов для анализа обучения требует особого внимания, так как LLM склонны к галлюцинированию и конфабуляции. Для решения таких задач использовались сервисы, опирающиеся на реальные источники, такие как Нейро и Perplexity. В задачах целеполагания языковые модели успешно справляются с формулировкой образовательных результатов даже при использовании простых промтов.
Для генерации учебных текстов мы использовали два подхода: написание развернутого промта с четкой структурой текста и ключевыми тезисами, а также итеративное генерирование текста с дополнительными инструкциями. Промт-инженерия также открывает новые возможности для создания материалов сопровождения обучения, таких как карты пути обучения, планы сопровождения и учебные инструкции.