De ssh (1)
-b bind_address
Use bind_address on the local machine as the source address of
the connection. Only useful on systems with more than one
address.
Se isto não fizer o que você quer, então você terá que configurar o roteamento (com ip route
) de tal maneira que a interface preferida seja usada para a conexão.