Нет, не будет.
У меня на карте в каждом из пяти двеллингов орков нет по 1 виду юнитов. В одном нет шаманок, в другом - вожаков, в третьем нет виверн.
Я проверял - для каждого из этих юнитов всё равно прирост сохраняется +5. То есть, главное это строение. Там может вообще никого не быть, но приросты будут идти всем возможным юнитам из этого строения.