scp
requer alguma sintaxe especial. O endereço IPv6 deve estar entre colchetes, que devem então ser escapados. Então, no seu exemplo, ficaria assim:
scp -6 osis@\[2001:db8:0:1\]:/home/osis/test.file ./test.file
Caso contrário, o primeiro cólon ':' é considerado o separador entre o arquivo e as partes do endereço que resultariam em
ssh: Could not resolve hostname 2001: Address family for hostname not supported
No seu exemplo com o ip ::1
, é interpretado como se você quisesse ssh para o host ''
(em branco).