Если раньше Paint нормально работал, нужно выяснить причину, по которой он перестал работать. Посмотрите в диспетчере задач и в мониторе ресурсов, может действительно какое-то приложение отнимает ресурс оперативной памяти. Какой объём оперативной памяти установлен? Какой выбран размер файла подкачки? Ошибка появляется независимо от размера файлов изображений, т.е. с небольшими тоже так? Какие форматы файлов изображений пытаетесь объединить?