In Linux I use command lines in terminal windows, and even with agents each window seems to require a passphrase entry.
A prática padrão aqui é iniciar o agente ssh antes do X11 ou como parte de sua sessão, para que o agente esteja disponível para qualquer coisa que você executar. O método exato que você usaria para isso depende de como você inicia o X11.
Links: