Удалить ulead video studio полностью, лучше с помощью сторонней программы, например revo uninstaller, а затем, после удалния, почиститься CCleaner'ом, не забыть выбрать пункт "реестр". Потом перезагрузиться и попробовать опять установить ulead video studio 11.