Um ~
sem aspas expande para /path/to/your/home/dir
na maioria das shells.
A página man stty não diz o que faz quando o argumento para erase
é algo diferente de um único caractere ou undef
ou ^
seguido por um caractere, mas parece que seu stty
usa o primeiro caractere da sequência de argumentos.
Digite stty erase '~'
(com as aspas simples). É uma boa prática sempre citar o argumento, porque alguns shells tratam ^
como o símbolo do pipe.