Ну тогда остаётся только делать инсталлятор. Либо стандартными средствами, как Светлана привела в примере, либо использовать сторонний сборщик, типа InstallShield. При сборке дистрибутива тот может включить все необходимые библиотеки и при инсталляции раскидать их по нужным папкам и прописать необходимые пути в реестре и ini-файлах.