Para fazer o login sem senha, você precisa configurar a autenticação baseada em chave. Há uma série de tutoriais por aí - esse parece um bom lugar para começar (editar: o site original caiu da Internet, este link é para a última cópia arquivada pela WayBackMachine).
Se você colocar uma frase secreta na sua chave (recomendado), você ainda precisará fornecer isso quando fizer o login, mas poderá usar o ssh-agent para reduzir o tempo necessário para isso.
Se você precisar de scripts que usem SSH / SCP para executar autônoma, não precisará ter uma frase secreta na chave, mas, nesse caso, é absolutamente necessário manter esse arquivo de chave seguro, de modo que ninguém mais possa lê-lo. poderá autenticar nesse servidor como você sem nenhuma senha / frase secreta.