Você talvez esteja supondo que há uma "negação padrão" implícita: não existe.
ALL EXCEPT 192.168.122.1 simplesmente não se aplica ao host 192.168.122.1, portanto, as entradas subsequentes são verificadas.
Supondo que você não tenha um antigo tcpwrappers (ou seja, ele é compatível com e foi criado com -DHOSTS_ACCESS ), você realmente só deve usar hosts.allow :
sshd: 192.168.122.1 : DENY
sshd: ALL : ALLOW
(Note que default allow é má prática, é claro)