Как мы пытались научить ИИ судить поединки по кендо

Я с командой на соревнованиях по кендо

Всем привет! Меня зовут Иван. Многие знают меня по ИТ, сейчас я руковожу НИИ Крокодил и занимаюсь прикладным ИИ. Параллельно уже много лет практикую кендо и являюсь президентом Федерации кендо в Удмуртии.

Около полугода назад я был на соревнованиях в роли судьи. Пока шел турнир, у меня появилась мысль: а может ли ИИ помогать судьям? Не заменять их, а дополнять, например, фиксировать касания, отмечать моменты или собирать объективные данные по поединку. В теории звучит логично, но возможно ли это на практике?

До этого я работал с командой Programming Store над системой ИИ-видеоаналитики. Мы внедряли её на производствах, в ритейле, на промышленных площадках: анализировали видеопоток, распознавали события, считали метрики. Но спортивный зал в этом списке никогда не был.

Интересно, что несколько моих бывших коллег тоже занимаются кендо. Я рассказал им про эту мысль после турнира. Мы посмеялись, прикинули, что это может быть технически сложнее, чем кажется… и решили попробовать.

Так начался наш эксперимент — научить систему видеть удары на татами.

Что такое кендо и в чём сложность судейства

Кендо — современное японское боевое искусство, выросшее из самурайских традиций. В поединке два спортсмена сражаются бамбуковыми мечами, которые называются синай. Удары можно наносить только в строго определенные зоны: мен — шлем, до — корпус, коте — запястье, цуки — горло.

Но одного попадания недостаточно. Чтобы удар засчитали, важны техника, контроль и правильный момент атаки. Судья оценивает всё это сразу, в движении.

Поединки проходят очень быстро. Спортсмены постоянно смещаются, перекрывают друг друга, удары короткие и резкие. Иногда разница между точным попаданием и промахом — это доля секунды. Даже опытным судьям непросто фиксировать такие эпизоды, особенно в динамичных разменах или при неудачном ракурсе.

Наблюдаю за действиями судьи

Как мы обучали систему

Самой сложной частью проекта оказались данные. Готовых датасетов для кендо не существует, поэтому всё пришлось собирать с нуля.

Мы записывали тренировки с разных ракурсов, при разном освещении и с разной скоростью работы спортсменов. Из общего массива отобрали около 40 часов видео для обучения. В итоге получилось примерно 120 000 размеченных фреймов.

Разметку делали вручную: выделяли бойцов, отмечали положение синаев и фиксировали тип события. Это было необходимо, чтобы модель могла различать обычное движение и потенциальный удар.

Для прототипа использовали YOLOv8 с дообучением на собственном датасете. Предобученные веса хорошо справлялись с детекцией людей, но не учитывали специфику сцены: одинаковую экипировку, плотную динамику и небольшие размеры синаев в кадре.

Так проходили тренировки

С какими трудностями столкнулись

Первые тесты показали типичные ошибки: модель путала руку и синай, фиксировала ложные удары и теряла объекты при перекрытиях.

Сцена оказалась тяжёлой для детекции: быстрые движения усложняли как саму детекцию, так и последующий трекинг объектов, приводили к появлению motion blur. Частые перекрытия создавали проблемы с окклюзией, а нестабильное освещение снижало контраст. Кроме того, синай занимает небольшую часть кадра, что усложняет задачу small-object detection и требует более высокого разрешения входного изображения или дополнительной настройки модели.

Мы итеративно дорабатывали датасет, добавляли сложные эпизоды, уточняли разметку и подбирали параметры инференса. Отдельно балансировали между разрешением входного изображения и скоростью обработки, чтобы сохранить производительность.

В результате на тестовой выборке удалось добиться около 82% точности по детекции потенциальных ударов при умеренном пороге confidence. На GPU уровня RTX 3060 система работает в диапазоне 22–25 FPS, что позволяет анализировать видео практически в реальном времени.

К сожалению, я не могу показать реальные скриншоты системы и интерфейса. Поэтому вместо этого показываю визуализацию, как примерно выглядит работа модели при анализе поединка.

Что в итоге получилось

Детекция людей стала стабильной, но сама по себе она не решает задачу. Нам нужно было перейти от «есть человек в кадре» к анализу его действия.

Главная задача была не просто увидеть человека, а понять динамику удара. Нам нужно было:

• отследить движение синаев;

• определить траекторию;

• зафиксировать потенциальный контакт в разрешённой зоне;

• сохранить событие для последующего разбора.

И вот здесь всё стало сложнее. В отличие от промышленной сцены, где объект движется предсказуемо, в кендо траектории резкие и неповторяющиеся. Удары могут начинаться из разных положений, с разной амплитудой и скоростью. Плюс постоянные перекрытия.

Мы пошли от простого к сложному. Сначала добились стабильной детекции бойцов. Затем начали экспериментировать с отслеживанием ключевых точек и анализом движения. Дальше — попытка привязать траекторию удара к зоне поражения.

Система пока не «судит» поединок. Она фиксирует потенциальные события и сохраняет их с таймкодом. Это уже полезно. Судья или тренер может быстро найти эпизод и пересмотреть его.

Как я вижу будущее

Я не считаю, что технологии должны вытеснять человека из спорта. В кендо многое держится на опыте, ощущении момента и понимании контекста. Это нельзя заменить алгоритмом.

Но технологии могут помогать. Делать процесс более прозрачным, снижать количество спорных ситуаций, упрощать разбор поединков. Для молодых судей это может быть инструмент обучения. Для спортсменов — способ посмотреть на свои действия со стороны и увидеть то, что в моменте было незаметно.

До использования на официальных турнирах ещё далеко. Нужно больше данных, больше тестов, больше стабильности. Но сам факт, что промышленную видеоаналитику можно адаптировать под боевое искусство, уже показывает, что направление перспективное.

Для меня это не просто технический эксперимент. Это способ соединить две важные части моей жизни, ИТ и кендо, и посмотреть, что из этого получится.

Аригато годзаймас.
Спасибо всем, кто помогал и участвовал в этом эксперименте.

Источник