Consegui consertar isso usando os comandos xrandr. Foi um pouco de tentativa um erro, então eu não tenho os comandos exatos que finalmente fizeram o truque, mas envolvi usando o comando xrandr --left-of. Com a saída xrandr acima, eu configurei o --left-of DVI-D-0 para a saída DP-4.8 e HDMI-0 --left-to para DVI-D-0. Uma vez que isso foi definido, eu fui capaz de definir as posições em relação umas às outras usando os dois comandos xrandr e as configurações de Displays.
Para mais informações, consulte os comandos --left-of e --right-of em aqui aqui.