Na minha opinião, a única maneira é dividir em dois comandos ssh separados:
#!/bin/sh
echo "I'm local"
ssh -t remote.server "sudo echo \"I'm remote and sudo\""
ssh -t remote.server "echo \"I'm remote but not sudo\""
O redirecionamento que você usa sempre redirecionará todo o bloco para o comando e não esperará qualquer sucesso do subcomando (ou falha).