O problema é que, mesmo com uma chave SSH, se você colocar uma senha na chave ssh usada, será necessário inserir sua senha para desbloquear a chave uma vez durante a sessão de login (a menos que seja configurado de outra forma). Essa é uma medida de segurança que algumas pessoas ativam para que outros não possam utilizar seu sistema nem sua chave SSH em seu próprio sistema.
EDITAR
Para corrigir isso, você precisa editar sua chave SSH (se usar uma) para que não exija uma senha, e seahorse
(a GUI para gerenciamento de chaves e outras coisas) ajudará você a fazer isso. Eu recomendo strongmente que você não remova sua senha da sua chave SSH (se é isso que está causando os popups, e tenho certeza que é)