Se bem entendi, isso deve funcionar:
my_func () {
ssh user@ip echo '$VARIABLE'
}
ou se você tiver mais comandos, pode fazer:
my_func () {
ssh user@ip <<'EOF'
echo $VARIABLE
command2
command3
EOF
}
Você também pode (meu favorito para executar muitos comandos) colocar seus comandos em outro arquivo e fazer isso:
my_func () {
SOURCE_FILE='/path/to/file'
cat "$SOURCE_FILE" | ssh user@ip
}