Oooh, eu encontrei uma explicação .
Para citar a parte relevante:
The zsh shell comes with (more than one) great feature(s), such as remote tabcompletion. If you for example want to copy a file over scp, simply hit tab at any part of the filename on the remote host. zsh is able to establish an ssh session on the background, and fetch the related information for you, so you can tabcomplete trough the remote files.
O post continua mostrando algumas declarações de zstyle
que alcançam a conclusão, mas eu sugiro strongmente usar um pacote zsh como o oh-my-zsh para obter este material mantido pela comunidade OSS para você.
Algo aparentemente relevante, como visto no meu sistema no meu diretório .oh-my-zsh:
$ ack scp
plugins/common-aliases/common-aliases.plugin.zsh
85:zstyle -e ':completion:*:(ssh|scp|sftp|rsh|rsync):hosts' hosts 'reply=(${=${${(f)"$(cat {/etc/ssh_,~/.ssh/known_}hosts(|2)(N) /dev/null)"}%%
[# ]*}//,/ })'
<...>