несовместимость может быть память ddr2 и материнская плата значит старая а видеокарта наверное свежая и работает на высоких частотах , может надо смотреть частоту шины материнской платы ,например 2500 а видеокарта 5000
и если и работает то на меньшей частоте и из-за этого не знает как работать.
сделай так
1.выключи комп из розетки вынь батарейку из материнской платы на 10 минут
2.вставь батарейку
3.установи windows xp
4.установи драйвер видеокарты
5.перезагрузи компьютер
потом ответь что получилось