Eu vi em alguns lugares que você pode ativar recursos experimentais para obter um dimensionamento fracionário com o seguinte comando:
gsettings set org.gnome.mutter experimental-features "['scale-monitor-framebuffer']"
Isso não funciona para mim. Quando executo este comando, não há erros: posso ver o valor correto aparecendo no editor-dconf. Mas os valores fracionários não aparecem nas configurações. Ainda posso ver apenas 100%, 200% e 300%.
Estou usando o Wayland, todos os aplicativos do Wayland. Eu estou usando os 384,90 Nvidia drivers em execução em uma Nvidia GTX 1080. Correndo estoque, completamente inalterado 17.10 (inalterado, exceto para o comando acima).