Tente
echo 4 > /sys/class/backlight/acpi_video0/brightness
Isso definirá o brilho para 40%. Talvez seja necessário alterar o diretório para corresponder à sua placa de vídeo.
xbacklight também pode ser útil, por exemplo,
xbacklight -d :0 -dec 30
deve diminuir o brilho em 30%.
Esteja ciente de que estes dois são modificação de hardware (as pessoas geralmente preferem manipular o brilho da tela), e seu comando inicial xrandr --brightnes usa o software para manipular o gama. A tela pode ou não parecer exatamente a mesma depois de aplicar essas técnicas diferentes.