O sistema cria uma base de dados de todos os arquivos no computador. Então, quando você pesquisa através de locate
o comando realmente não verifica todo o sistema de arquivos, mas apenas o banco de dados, ele faz um algoritmo de busca binária que é rápido como procurar uma palavra em um dicionário. É por isso que é tão rápido (e prático).
Esse banco de dados é atualizado regularmente; você pode ter visto funcionar algumas vezes quando você instala um novo pacote: updating mlocate...
. Você pode encontrar mais informações sobre como funciona executando em um terminal:
man locate
man updatedb