Você deve poder usar as variáveis de ambiente SSH_CONNECTION, SSH_TTY ou DISPLAY.
Veja: link
SSH_CONNECTION Identifies the client and server ends of the connection. The variable contains
four space-separated values: client IP address, client port number, server IP
address, and server port number.
Editar: SSH_CLIENT também é uma opção, mas não aparece na página man.