Монитор не поддерживает требуемое соотношение разрешение/частота/режим синхронизации. В видеокартах NVIDIA это настраивается, у ATI - нет.
Сам недавно сменил видеокарту. Пользовался 1600х900, все устраивало, а теперь на красной карте 1920х1080 (иначе экран либо "уезжает" либо суженый как у вас), что для меня в ОС неудобно, буквы мелкие.