скрин экрана с ошибкой или фотографию сделайте и поместите сюда.
Пока могу предполагать лишь, что у вас выставлены слишком большие значения разрешения экрана и частоты, при переключении к штатным режимам в игре монитор не может поддерживать определенную вами частоту и выдает ошибку. Для устранения пробуйте выставить частоту кадровой развертки в 75 Гц (для ЖК мониторов).