Você está tentando su para um usuário cujo shell é /bin/false . /bin/false sempre sai com o código 1, então você nunca é esse usuário:
$ sudo su - dnsmasq
$ echo $?
1
Se você deseja iniciar um shell com esse usuário desativado, use sudo :
$ sudo -u dnsmasq /bin/bash
$ whoami
dnsmasq
Note que dnsmasq normalmente tem /sbin/nologin versão de false ) como o shell, então o mesmo princípio se aplica.