Sim, você pode fazer isso.
ssh -i /path/to/usb/key user@myserver
Com isso, você pode ignorar com segurança o login por senha do servidor, mas deve certificar-se de que seu arquivo-chave
Mesmo com isso, não recomendo usar máquinas não confiáveis. Os vírus podem infectar sua unidade e os keyloggers podem roubar sua senha, etc, etc, etc.