Verifique se a opção INTERACTIVE_COMMENTS está definida.
De acordo com esta página, "em [...] escudos interativos com o conjunto de opções INTERACTIVE_COMMENTS , # faz com que [...] essa palavra e todos os caracteres a seguir até newline sejam ignorados. "
De acordo com os comentários adicionados posteriormente, set -k faz exatamente a mesma coisa.