Use Permitir / negar :
<Location /test/manager/>
Order Deny,Allow
Deny from 192.168.1.0/24
Allow from 192.168.1.4 192.168.1.5 192.168.1.6
</Location>
Observe que isso também permite qualquer outro IP, o que eu acho que não é o que você deseja. Em caso afirmativo, troque o Pedido e remova a linha Negar:
<Location /test/manager/>
Order Allow,Deny
Allow from 192.168.1.4 192.168.1.5 192.168.1.6
</Location>