Всем привет, осваиваю вайб-кодинг, решил попробовать разобраться и сделать ИИ для героев3 с нормальным автобоем и просто умного противника. Посмотрим, что получится. 

Хотелось бы узнать у практикующих игру ребят, насколько это для вас актуально и интересно. Может, какие-то пожелания потихоньку собрать. Процесс написания и обучения не быстрый, но он есть.
Буду писать сюда промежуточные результаты.

HoMM3 AI: первые практические результаты обучения

Запустили полноценный RL-пайплайн для обучения боевого ИИ в отдельной 7×7 arena-модели.

Что уже реализовано

1️⃣ Инициатива (tick-based)

Бой больше не “ход-игрок → ход-враг”.

Реализована tick-система с разной скоростью:

•PLAYER_SPEED = 4

•ENEMY_SPEED = 2

•TICK_TARGET = 100

Враг может ходить первым — как в реальных Героях.

2️⃣ Типы врагов

Сейчас обучаем против трёх поведенческих моделей:

•Chaser — давит в ближний бой

•Kiter — держит дистанцию 2–3

•Archer — стреляет на расстоянии, в мили бьёт слабо

Важно: стрелок больше не “турель”. В мили он теряет преимущество (как в HoMM).

3️⃣ Реталиация

Добавлен ответный удар при melee-атаке.

4️⃣ RL-инфраструктура

•PPO (Stable-Baselines3)

•log-файлы + COPY-блоки для удобной публикации

•env_signature — защита от несовместимых моделей

•breakdown-eval (chaser / kiter / archer / mixed3)

Текущий этап: 2 стека у игрока (arena_v3)

Добавлено:

•2 независимых стека

•переключение активного стека

•враг выбирает цель по дистанции

•блокировка союзной клетки

•cooldown на switch

Сейчас модель ещё “сырая” — 2-стек резко увеличил пространство состояний, требуется длительное обучение.

Что дальше

Краткосрочно:

•стабилизировать 2-стек обучение

•снизить trunc против kiter/archer

•вывести mixed3 обратно к 0.65–0.70+

Среднесрочно:

•добавить полноценную зону контроля (как в HoMM)

•внедрить фокус-таргетинг

•перейти к multi-unit (3–4 стека)

Долгосрочно:

•перенос логики в VCMI

•обучение на реальных картах

•стратегический слой (hero movement + recruitment)