ssh-agent é um utilitário de segundo plano para, opcionalmente, manter sua chave ssh, para que você possa iniciar o ssh sem precisar digitar a chave a cada vez. Não é um risco de segurança e é inofensivo para deixar, e inofensivo para matar também se você não estiver usando ssh. Embora, normalmente, ele comece a iniciar o servidor X, para que ele possa exportar um ambiente de shell útil para permitir que você o use sem complicações, portanto, matá-lo pode matar o servidor X (que é inofensivo apenas de um ponto de vista de segurança restrito) .
Se você quiser usá-lo, e ssh, você deve primeiro informar sua chave através do comando ssh-add.