Você pode ver as conexões ssh com lsof
e tentar descobrir de onde você está conectado agora mesmo.
Por exemplo:
lsof -i:ssh
root@prmox01:~# lsof -i:ssh
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
sshd 1404 root 3u IPv4 9601 0t0 TCP *:ssh (LISTEN)
sshd 1404 root 4u IPv6 9603 0t0 TCP *:ssh (LISTEN)
sshd 66653 root 3r IPv4 167143 0t0 TCP prmox01.example.ru:ssh->192.168.25.178:43406 (ESTABLISHED)