Isso ocorre porque o fglrx (o driver de dispositivo proprietário AMD Radeon) não suporta KMS (Kernel-Mode Setting).
No arquivo de configuração do GRUB (carregador de boot), localizado em /etc/default/grub , há uma configuração chamada GRUB_GFXMODE que você pode definir como GRUB_GFXMODE=1200x900 . Então você precisa executar sudo update-grub2 .
Execute vbeinfo no GRUB para ver quais modos gráficos sua placa gráfica suporta.