Taxa de atualização composta > é realmente a configuração correta. No entanto, ter um segundo monitor faz com que todos os compiz sempre sejam executados com a menor taxa de atualização suportada, independentemente da configuração. De qualquer forma, para referência futura, essas duas linhas funcionam para mim, desde que eu tenha apenas o monitor de 165Hz conectado:
xrandr --verbose --output DP-2 --mode 2560x1440 --rate 165
dconf write /org/compiz/profiles/unity/plugins/composite/refresh-rate "165"