Você precisa ativar a detecção primeiro e depois definir as dimensões. Apenas inverta seus comandos.
xinput set-prop "SynPS/2 Synaptics TouchPad" "Synaptics Palm Detection" 1
xinput set-prop "SynPS/2 Synaptics TouchPad" "Synaptics Palm Dimensions" 5 5