Попробуйте очистить ОС от остатков программы вручную. Удалите папку с программой в каталоге установки, папке пользователя, поищите в реестре по ее названию, запустите CCleaner. Потом повторите установку.
Вот подробная инструкция:
полное удаление VideoStudio Pro X5. Если что-то будет непонятно, спрашивайте.