Не имел опыта работы virtualdub, но все дело заключается в правильных настройках программы.
При сохранении в формат avi - посмотрите с каким битрейтом сохраняете, для фильма(качества dvdrip) размером 1,4gb битрейт около 1400kb/s...также влияет на размер файла качество звука, то есть его битрейт. и размер картинки - то есть разрешение кадра, типа 640*480 и т.д.
еще кодек, с помощью которого сжимаете видео, например mpeg4.
Разберитесь с настройками.