Ao ter múltiplas conexões SSH simultâneas, somente as duas primeiras podem 'sudo'

Question

Quando há várias conexões SSH simultâneas abertas, somente as duas primeiras podem sudo . Na terceira conexão, é solicitada uma senha, embora o usuário não tenha uma senha definida.

Primeira conexão:

manuel@manuelthinkpad:~$ ssh manuel-nas-wan 
Enter passphrase for key '/home/manuel/.ssh/manuel-thinkpad-arbeit.ed25519': 
Linux manuel-nas 4.9.0-4-amd64 #1 SMP Debian 4.9.51-1 (2017-09-28) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
Last login: Tue Dec  5 13:59:52 2017 from xxx.xxx.xxx.xxx

user@manuel-nas:~$ sudo pwd
/home/user

Segunda conexão:

(igual à primeira conexão)

Terceira conexão:

manuel@manuelthinkpad:~$ ssh manuel-nas-wan
Enter passphrase for key '/home/manuel/.ssh/manuel-thinkpad-arbeit.ed25519': 
Linux manuel-nas 4.9.0-4-amd64 #1 SMP Debian 4.9.51-1 (2017-09-28) x86_64

The programs included with the Debian GNU/Linux system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.

Debian GNU/Linux comes with ABSOLUTELY NO WARRANTY, to the extent
permitted by applicable law.
Last login: Tue Dec  5 14:27:00 2017 from xxx.xxx.xxx.xxx

user@manuel-nas:~$ sudo pwd
[sudo] password for user: 

Pergunta

Alguém pode me dizer o motivo e como desativar esse comportamento? Eu quero ser capaz de sudo de todas das minhas conexões, não apenas das duas primeiras.

Obrigado!