Не исключаю бракованную видеокарту, возможно, видеочип не тестировался на некоторых режимах, используемых игрой, поэтому был не выбракован.
Нормальное охлаждение установить попробуйте или вообще видеокарту замените, других вариантов решения проблемы пока не вижу.