O GNOME Shell no Wayland - que é o que o Fedora 25 Workstation usa - não suporta fatores de escala não inteiros. Há algum trabalho preliminar, mas nada decidido ainda; agora, a solução alternativa que você já escolheu (volte para o X11) é a correta.
Como alternativa, você pode escolher um fator de escala inteiro e, em seguida, usar a ferramenta de ajuste para alterar os tamanhos de fonte para tornar as coisas mais legíveis. Isso não dimensiona elementos não textuais, é claro, mas dá um pouco mais de flexibilidade (e legibilidade).