Pesquisando o google com minha última edição em mente, encontrei este link Instalado xorg no servidor, nenhuma tela foi encontrada
que era semelhante mas não exatamente o mesmo, mas usando o primeiro comando do primeiro respondedor me ajudou a encontrar o problema que era o 20-radeon.conf que eu então deletei o arquivo através do tty, finalmente corrigindo o problema.