Então eu consegui fazer isso. Está muito escuro no Fedora como mudar isso, mas eu consegui.
Então: Eu fiz o backup de /etc/systemd/system/display-manager.service
e deletei, e então fiz um link simbólico para /usr/lib/systemd/system/slim.service
para o mesmo arquivo. Agora, display-manager.service redireciona para slim.service quando antes de ser redirecionado para gdm.service.
Eu realmente não sei porque isso não é facilmente alterável. Nem instalar outro DM nem desativar o atual muda, porque você precisa desativar o gerenciador de exibição e não o serviço DM específico.