Você não pode. Com o git, você clona todo o repositório e o histórico completo do repositório.
Existem algumas soluções alternativas para obter um único arquivo de um arquivo git, listado em um Resposta do Stack Exchange para a mesma pergunta , mas você ainda terá que baixar o repositório inteiro para obter aquele único arquivo ou diretório que deseja.