Ao citá-lo para que o outro lado receba uma string fixa.
ssh root@my-host "echo '$MY_STRING'"
Como a expansão é feita localmente, as aspas simples não afetam.
Meu ambiente é Bash no Debian 8.
# Suppose I enter the following value for MY_STRING: TEST$TEST
read -s -p "Enter a string: " MY_STRING
# This commands displays this value: TEST$TEST
echo "$MY_STRING"
# This command displays this value: TEST
ssh root@my-host "echo $MY_STRING"
# How may I cause the above command to display the value "TEST$TEST"?