Eu não uso o telnet por um longo tempo, mas o seguinte deve funcionar:
Edite /etc/hosts.allow e adicione:
telnetd: allowed_IP
Sobre a restrição da capacidade de login do telnet para um único usuário, verifique a seguinte resposta: link
Você pode definir o shell do usuário para que um aplicativo específico seja chamado durante o login, mas observe que, dependendo do perfil do aplicativo ou do shell, pode haver soluções alternativas para o escape manual para um shells completo.