Você não pode procurar arquivos em um servidor com o protocolo HTTP. O servidor pode fornecer uma listagem de diretórios de um diretório se você solicitar um caminho de diretório em vez de um arquivo específico e não houver nenhum arquivo padrão a ser enviado (isto é, index.html). Mas essa listagem de diretórios não é uma listagem de diretórios como a saída do comando shell ls -l , mas um servidor html-document que contém uma representação bem formatada e vinculada de uma listagem de diretórios que, por causa, não deve conter todos os arquivos de o diretório do servidor.
Cabe a você analisar o documento html entregue e obter as informações necessárias para percorrer o sistema de arquivos do servidor.
Mas, como eu disse, o servidor pode enviar essa listagem para você. Mas é mais comum que exista um arquivo padrão no diretório (ie index.html) que o servidor entregaria ou que lhe envia um documento html com o conteúdo "404 - Not found" para informá-lo, que o arquivo solicitado O diretório não tem nenhum arquivo padrão para entregar e não há mais nada que o servidor possa fazer por você.