Можно в параметрах CameraSet'a поставить IgnoreYawDif на true. При этом, если разница в параметре Yaw слишком велика, то может быть не совсем так, как нужно, в другом случае всё заработает. Можно поиграться и с другими параметрами: главное что камера всегда поворачивается в одну сторону, значит, если нужно повернуть её в другую, нужно развернуть конечное положение на 360 градусов, тогда должно сработать.