Um amigo me deu uma mão com isso, e parece que porque eu tenho um rato estranho (Cyborg RAT 3) ele não joga bem com nenhuma distro.
A solução para o caso de alguém se encontrar nesta posição está abaixo, isso também explica porque eu não pude instalar o 12.0.4 LTS, já que o botão do mouse estava ignorando meus cliques.
Se você pressionar o botão de perfil no mouse, clique esquerdo começará a funcionar uma ou duas vezes e, em seguida, você precisará pressioná-lo novamente para obter o clique esquerdo de volta e assim por diante.
De qualquer forma para corrigir isso, só funciona para o mouse RAT3 fazer o seguinte e reinicie.
sudo nano /etc/X11/xorg.conf
cole isso no final;
# RAT3 mouse
Section "InputClass"
Identifier "Mouse Remap"
MatchProduct "Saitek Cyborg R.A.T.3 Mouse"
MatchDevicePath "/dev/input/event*"
Option "ButtonMapping" "1 2 3 4 5 0 0 8 9 0 0 0 13 14"
EndSection