Do OpenSSH readpassphrase.c, linha 75:
/*
* Read and write to /dev/tty if available. If not, read from
* stdin and write to stderr unless a tty is required.
*/
O programa lê e grava o TTY diretamente, portanto, não é possível desabilitar a entrada direta simplesmente fechando os canais de entrada e saída padrão. Você precisa dizer ao cliente SSH para usar uma senha fornecida ou fazer como sugerido por @muru.