Проект завершён, 2021–2022
Все проекты WorldSkills →Система, в которой проходит демонстрационный экзамен — от явки участников до подписанных оценок. Эксперты ставят оценки с компьютера и телефона, главный эксперт сразу видит расхождения и историю каждой оценки, а печатные формы, отчёты и паспорт компетенций система собирает сама. Одна система на любое число экзаменов вместо отдельной копии программы под каждый.
WorldSkills Россия проводит демонстрационные экзамены: выпускники колледжей выполняют задание по стандартам WorldSkills, а группа экспертов оценивает работу по схеме — модули, подкритерии и аспекты, измеримые и судейские. Оценки вели в CIS — программе WorldSkills International на Java. С 2019 года мы обслуживали её в облаке: под каждый экзамен поднималась отдельная копия программы со своей базой и резервными копиями, и чем больше экзаменов шло одновременно, тем больше копий нужно было держать.
Задача — своя система CIS NG 2.0: экзамены проходят в том же порядке, что и раньше, но в одной системе на любое их число. И с тем, чего в старой CIS не было: вход по коду, права эксперта по его роли на конкретном экзамене, история изменений и журнал действий, рассылки, работа с телефона и API, через которое внешние системы заводят экзамены и забирают результаты.
Спецификация, прототип и дизайн, затем веб-приложение для экспертов, серверная часть с API, документация API и сервис печатных форм. Экраны приложения ниже — на примере выдуманного экзамена по компетенции «Веб-дизайн и разработка»: люди и учебные заведения вымышлены.
Функциональная спецификация описала каждый экран и его поведение для четырёх ролей: главного и линейного эксперта, эксперта-наблюдателя и администратора. По ней собрали кликабельный прототип — 37 страниц и 17 модальных окон, затем дизайн: 114 макетов для компьютера и для телефона шириной 320 px и набор элементов интерфейса в цветах WorldSkills Russia.
Экраны и правила экзамена согласованы на прототипе до разработки, а не на готовом коде.
Вкладки «В фокусе», «Незавершённые», «Все» и «Закладки», фильтры по статусу, компетенции и датам, поиск. В строке — номер, время старта по местному времени, компетенция, площадка, день экзамена, явка и статус: запланирован, проставление явки, внесение оценок, блокировка, оценки подписаны, завершён. Главный эксперт начинает и завершает экзамен прямо из списка.
Эксперт, который ведёт несколько экзаменов, видит, где что происходит, и не ищет нужный.
Компетенция и версия комплекта оценочной документации, вариант задания, дни С-1 и С1 в местном времени, центр проведения и контактные лица, главный эксперт, экспертная группа и учебные группы. Экзамен приходит из внешней системы через API вместе с участниками и экспертами, схема оценки и вариант задания — из ЕСАТ. В настройках — способ оценивания: оценки вносят линейные эксперты или главный эксперт с подтверждением линейными; разблокировать оценки можно только через администратора.
Всё об экзамене — на одной странице, без переписки с организаторами.
По каждому дню — явка, неявка или «покинул досрочно» с причиной, комментарием и файлами, рядом — процент совпадения лица участника по данным прокторинга. Перенос в другую команду — тоже с причиной. Первые 15 минут отметку можно поправить без объяснений, позже — только с причиной.
Сразу видно, кто пришёл на экзамен и тот ли это человек, а каждое исправление объяснено.
Модули, подкритерии и аспекты: у измеримых — требование или номинальный размер, у судейских — шкала от 0 до 3 с описанием каждого балла. У каждого аспекта — максимальный балл и раздел стандарта компетенции WSSS.
Эксперты оценивают по утверждённой схеме, никто не переносит её вручную.
Линейные эксперты вносят оценки онлайн, каждая сохраняется сразу. Главный эксперт видит оценки всех экспертов по судейскому аспекту и итог; если они расходятся на 2 балла и больше, аспект и участник подсвечиваются как требующие внимания. Готовые группы аспектов фиксируются, при обрыве связи система предупреждает и блокирует ввод. Можно вести экзамен и по-старому: главный эксперт вносит оценки с бумажных форм.
Расхождения экспертов видны в момент оценки, а не при подписании ведомости.
Один аспект у всех участников подряд: шкала с описанием каждого балла перед глазами, приложенные файлы и счётчик — сколько участников уже оценено.
Эксперт судит одну работу за другой одной меркой, поэтому оценки ровнее.
У оценки — все версии по каждому эксперту: кто, когда, с какого балла на какой, причина, комментарий и файлы. В журнале — входы, явка, переносы в другую команду, изменения оценок и настроек, скачивание задания, с фильтрами по автору, типу события и времени.
Любой спорный балл можно разобрать: видно, кто его поставил и почему изменил.
Шесть наборов форм: пустые бланки, формы с аспектами, для рукописного внесения оценок, с аспектами и оценками, листы согласования схемы оценивания и внесённых оценок. Паспорт компетенций участника — с баллами по разделам стандарта и по модулям, QR-кодом и подписью главного эксперта. Всё собирается в PDF на сервере.
Бумажный порядок экзамена сохранён, но бумаги заполняет система, а не эксперт.
17 отчётов для главного эксперта: схема оценивания и распределение баллов по разделам WSSS, оценённые и ещё не оценённые аспекты, прогресс и время блокировки оценок, недостающие оценки, «Эксперты один на один» — кто ставит выше или ниже группы, сравнение компетенций и регионов, официальные результаты. Результат — на экране, в PDF или таблицей.
Главный эксперт видит ход экзамена и почерк каждого эксперта, не сводя данные вручную.
Серверная часть на PHP 8.1 под RoadRunner с PostgreSQL, веб-приложение на Vue 3 и TypeScript, PDF собирается из HTML-шаблонов в отдельном сервисе. Всем можно управлять через задокументированное API: внешние системы по сервисным аккаунтам заводят экзамены с участниками и экспертами и получают результаты вебхуком после завершения. Эксперт входит по одноразовому коду на почту или телефон, а его права определяются ролью на конкретном экзамене. Письма и SMS уходят через несколько шлюзов с равномерной нагрузкой на каждый и проверкой доставки.
Масштаб: 4 репозитория — веб-приложение, серверная часть, документация API и сервис печатных форм; около 1 500 коммитов, около ста методов API, 9 видов писем экспертам — от назначения на экзамен до закрытия и переоткрытия.
Вместо отдельной копии программы на Java со своей базой под каждый экзамен — общая система, которая расходует меньше памяти и масштабируется под нагрузку.
Расхождения экспертов подсвечиваются сразу, у каждой оценки есть история с причинами, все действия на экзамене записаны в журнал.
Экзамены, участники и эксперты приходят через API, схема оценки — из ЕСАТ, результаты уходят во внешнюю систему сами.
Вход по коду, личная ссылка на экзамен в письме, экраны под телефон, время — в часовом поясе эксперта.
Проект завершён. Работали над системой в 2021–2022 годах, последние изменения — в марте 2022 года. Движение WorldSkills Россия с тех пор переименовано.
Расскажите о ней — ответим в течение рабочего дня и предложим, с чего начать.
Telegram: @spacetab_bot · Почта: bip@spacetab.io
