Частично придумал как решить проблему. Может кому пригодиться.
Заходим в настройки как на скриншоте, далее нажимаем кнопку изменить разрешение, делаем разрешение 16:9 (в моем случае это 1440*810), сохраняем.
В игре выставляем наше разрешение, сохраняем.
В ShadowPlay, в настройках выбираем разрешение "Игра"
На выходе получаем видео 16:9 с вашим кастомным разрешением.
Минус только в том на мониторе есть черные полосы сверху и снизу (на видео их нету).
Как захватить сразу Full HD, почти придумал... но DSR умножает только разрешение 16:10. Вот бы заставить его умножить кастомное разрешение