Um ~ sem aspas expande para /path/to/your/home/dir na maioria das shells.
A página man stty não diz o que faz quando o argumento para erase é algo diferente de um único caractere ou undef ou ^ seguido por um caractere, mas parece que seu stty usa o primeiro caractere da sequência de argumentos.
Digite stty erase '~' (com as aspas simples). É uma boa prática sempre citar o argumento, porque alguns shells tratam ^ como o símbolo do pipe.