Ele suprime o comando completamente.
Você costuma usá-lo em arquivos em lote para adicionar um comentário ao seu código (explicando ao leitor o que está acontecendo) ou impedir que uma linha seja executada - por exemplo:
# Tell the user the results
cat $HOME/.temp/results.txt
# This next line doesn't work
# cat $HOME/.temp/next.txt
O equivalente no DOS é prefixar a linha com REM
.