Снижать сложность.....
А если серьёзно, то не надо на них сразу ломиться, а постараться того мага выманить в море и там убить, потом эльфа... а потом уже захватывать замки. И желательно их сразу проклинать и не отстраивать, чтоб пресечь поток армий Академии.