Sim, é possível.
Acredito que esses usuários estejam em sua rede local e tenham endereços IP estáticos. Se sim, então podemos criar um cron para alterar o arquivo /etc/hosts.deny durante intervalos regulares. Por exemplo:
O /etc/hosts.deny ficará em branco durante as horas permitidas e deverá mudar para o seguinte durante o horário restrito
sshd: ALL EXCEPT
<specify ips of users here>
Espero que você tenha entendido meu ponto.