Российские ИИ-разработчики разделили 20 млн рублей на конкурсе Up Great Про//чтение.
В рамках технологического конкурса Up Great Про//чтение завершился первый цикл испытаний и объявлены победители номинаций «Грамматика» и «Грамматика.Eng».
Конкурс Up Great Про//чтение направлен на создание ИИ-ассистента, способного помогать учителям выявлять логические, фактические, стилистические и другие смысловые ошибки в сочинениях школьников по русскому языку, литературе, истории, обществознанию и английскому языку. Цель конкурса – стимулирование развития технологий сильного искусственного интеллекта и поддержка сообщества разработчиков в области машинного обучения.
В первом цикле конкурса приняли участие более 180 команд разработчиков. По результатам квалификации до испытаний были допущены 11 команд, показавших эффективные решения. В рамках испытаний ИИ-ассистенты проверили по 500 эссе и сочинений ЕГЭ на русском языке и столько же – на английском. Автоматизированная платформа сопоставила тексты, проверенные ИИ-ассистентами и реальными педагогами, и выявила наиболее качественные решения.
Победители специальных номинаций «Грамматика» и «Грамматика. Eng», чьи ИИ-системы корректно определили наибольшее количество грамматических и речевых ошибок, разделили призовой фонд в 20 млн руб.
Итоги номинации «Грамматика» для текстов на русском языке:
- «Ракета» (разработчики из МФТИ и МГУ им. Ломоносова) – 1-ое место, 7 млн руб.
- «Антиплагиат» (разработчики «Антиплагиат») – 2-ое место*.
- Chemist (разработчики из МФТИ) – 3-е место, 2 млн руб.
- NugumanovTeam (разработчики из Уфы) – 4-ое место, 1 млн руб.
* В соответствии с регламентом конкурса одна команда может претендовать на призовой фонд только в одной из номинаций. Команда «Антиплагиат» заняла 2-ое место как в номинации «Грамматика», так и в номинации «Грамматика.ENG». По решению команды денежный приз вручается в номинации «Грамматика.ENG»
Итоги номинации «Грамматика.ENG» для текстов на английском языке:
- «НейроЧтение» (разработчики DeepPavlov) – 1-ое место, 7 млн руб.
- «Антиплагиат» (разработчики «Антиплагиат») – 2-ое место, 2 млн руб.
- «Наносемантика» (разработчики «Нейросети Ашманова» и сервиса ОРФО) – 3-е место, 1 млн руб.
В рамках основной задачи конкурса пока ни одна команда не достигла результата, соответствующего уровню педагогов. Участники смогут вновь побороться за призовой фонд конкурса в размере 200 млн руб. на испытаниях второго цикла, запланированных на весну 2021 года. В ходе анализа текстов на русском языке лучший промежуточный результат показала команда «Антиплагиат» (уровень точности – 57,8%). Для английского языка наиболее качественное решение продемонстрировала команда «НейроЧтение» (уровень точности – 84,5%). В числе лидеров оказалась и команда из Санкт-Петербурга Seedh AI, а также команды «Ракета» и «Наносемантика». На данном этапе ИИ-ассистенты участников наиболее успешно справились с выявлением лексических, грамматических и речевых ошибок. Наибольшие сложности возникают при определении логических ошибок.
Решения участников планируются к пилотному внедрению и эксплуатации в 2021-22 гг. в ряде школ в разных регионах России.
Юрий Молодых, глава оргкомитета технологического конкурса Up Great Про//чтение: «Результаты испытаний показали, что задача по созданию ИИ-ассистента, способного выявлять все типы смысловых ошибок в текстах, вполне решаема на базе существующих технологий. Команды показали эффективные решения, которые уже сейчас могут использоваться как эффективный помощник учителя в школе. Такой помощник сможет облегчить ежедневную рутинную работу педагога, позволив учителям сконцентрировать свои усилия на наиболее важных и сложных педагогических задачах, формировании логического и критического мышления».
Михаил Бурцев, заведующий Лабораторией нейронных систем и глубокого обучения МФТИ, команда «НейроЧтение»: «Мы очень рады, что удалось создать лучшую систему для проверки эссе на английском и занять первое место в номинации по английской грамматике. В этом нам помогла наша библиотека DeepPavlov, на ней был построен оркестратор аннотаторов ошибок и навыков по их исправлению. Высокая скорость обработки сочинения – всего 5-6 секунд – подтвердила, что библиотека готова работать с большими объемами данных в условиях реальной индустриальной нагрузки. И, конечно, командная работа нашей лаборатории и поддержка Физтеха были мощнейшими факторами на пути к победе. Надеюсь, что мы сможем и в дальнейшем принять участие в конкурсе, хотя для преодоления поставленного технологического барьера может понадобиться не один год».
Юрий Чехович, исполнительный директор «Антиплагиат»: «Мы впервые участвовали в конкурсе, который не касался области нашей основной компетенции – обнаружения заимствований в текстах. И, конечно, мы рады, что результаты нашего решения для русского языка подтвердили компетенции команды «Антиплагиат». Уверен, что нам по силам на предстоящих этапах преодолеть технологический барьер, то есть создать решение, которое будет оценивать письменные работы не хуже живого преподавателя».
Технологический конкурс Up Great Про//чтение организован РВК, Фондом «Сколково» и АСИ в рамках реализации Национальной технологической инициативы, при поддержке АНО «Школьная лига Роснано» и ДВФУ. Технический партнер конкурса — Центр компетенций НТИ по направлению «Искусственный интеллект» на базе МФТИ.
Подробная информация доступна на официальном сайте конкурса: https://ai.upgreat.one/ (https://ai.upgreat.one/).
О технологических конкурсах Up Great
Технологические конкурсы Up Great инициированы РВК, Фондом «Сколково» и АСИ для российских инновационных компаний в рамках реализации Национальной технологической инициативы. Участникам предлагается найти решения сложнейших технологических задач, которые в мире пока решения не имеют. Команда-победитель, преодолевшая мировой технологический барьер, получает крупный денежный приз за демонстрацию понятного и повторяемого решения конкурсного задания перед экспертами, жюри и широкой общественностью. Механика конкурсов разработана в соответствии с лучшими практиками мировых технологических соревнований: XPrize, Darpa Grand Challenge и др. Оператором Технологических конкурсов Up Great является РВК.
Сайт: upgreat.one (http://upgreat.one/).
