Use a opção -c para passar seu comando para su. Um comando complexo deve ser colocado entre aspas ou aspas duplas. Como você já usa aspas duplas, use aspas simples ou escape do par interno de aspas duplas.
Exemplos:
ssh -t username@hostname "sudo su - otheruser -c \"cd /path/to/directory && command\""
ssh -t username@hostname "sudo su - otheruser -c 'cd /path/to/directory && command'"
ssh -t username@hostname 'sudo su - otheruser -c "cd /path/to/directory && command"'