Проверьте еще станок на проточку цилиндра. Если размер у кулачков окажется больше, чем в начале заготовки. Значит шпиндель повернут относительно направляющих продольной подачи. И как раз в аккурат и ваше смещение в этом случае объяснимо.
Кстати, если воткнуть в заднюю бабку центр (можно и в переднюю тоже) и свести центра, то визуально увидите в чем дело. Если центра не свелись. Значит настройка станка. Если свелись - патрон. Возможно он бракованный.
Мне на дрели попадался такой. Два/три раза сверло в нем повернешь на четверть оборота с затяжкой ключем в соседнее отверстие, о па - встало без биения.