<Directory /path/to/your/dir>
Options indexes
order deny,allow
deny from all
allow from 192.168.1.101
</Directory>
Se isso não fizer o que você quer (como nada no diretório não é um período acessível para ninguém além do IP especificado), você pode fazer algo que consiga o que parece estar habilitando índices para um IP específico com mod_rewrite:
RewriteEngine on
RewriteCond %{REMOTE_ADDR} !^192\.168\.1\.101
RewriteRule ^/(index\.html)?$ /page_to_kick_people_looking_for_indexes_to.html [L]