Все армии на карте не растут со временем. Только на месте убитых через некоторое время начинают появляться новые отряды, вот их сила зависит от времени и если сильно замешкать, там могут появиться неподъёмные армии.
По начальной локации я бы сказал, что бить единорогов это ошибка многих, так как на них спускают армию надеясь что там много чего получат, а по сути там только один мелкий квест выполняется и всё. Лучше зачистить всех кого можно до единорогов и скопить на этом денег.