Se todos eles tiverem acesso ao mesmo usuário no servidor, você deverá abrir /home/user/.ssh/authorized_keys
- normalmente esse é o caminho para o arquivo, onde o ssh armazena chaves públicas de usuários com permissão para efetuar login.
Se houver, apenas apague as chaves desejadas - elas geralmente têm um comentário após elas indicando o nome de usuário / host onde elas foram geradas.