Claro que você tem que ler o arquivo, mas você pode
ssh -e none USER@REMOTE "cat file" | xclip -i
embora isso ainda signifique abrir uma conexão ssh e copiar o conteúdo do arquivo. Mas finalmente você não vê nada disso;)
E se você estiver se conectando de um computador com OS X, use pbcopy
:
ssh -e none USER@REMOTE "cat file" | pbcopy