Eu encontrei uma maneira de corrigir esse problema. Após os comentários de @DanielB e @matzeri, comecei a pesquisar sobre o perfil que é carregado pelo shell.
Então eu encontrei esta página , falando sobre os perfis. Com base nesta documentação eu editei o arquivo C: \ cygwin64 \ etc \ skel \ .inputrc descomentando estas linhas:
$if Bash
# Don't ring bell on completion
#set bell-style none
# or, don't beep at me - show me
#set bell-style visible
# Filename completion/expansion
set completion-ignore-case on
set show-all-if-ambiguous on
# Expand homedir name
set expand-tilde on #THIS LINE IS IMPORTANT
# Append "/" to all dirnames
#set mark-directories on
#set mark-symlinked-directories on
# Match all files
set match-hidden-files on
# 'Magic Space'
# Insert a space character then performs
# a history expansion in the line
#Space: magic-space
$endif