Em .bashrc (ou onde você define os aliases), você pode torná-lo condicional com base na variável SSH_CONNECTION , que é configurada apenas para conexões ssh. Por exemplo:
if [[ $SSH_CONNECTION == *"your-IP"* ]]; then
alias ll="ls -l"
# your other aliases
fi