Geralmente (dependendo das convenções para o sistema em particular que você está usando), a tecla backspace envia ASCII BS ( ^H ) e DEL ( ^? )
Alguns emuladores de terminal alternam entre ASCII BS ( ^H ) e DEL ( ^? ) quando você usa o modificador de deslocamento. Alguns não. Aparentemente, o programa que você está usando para o ssh não.
Dada esta linha do seu .profile :
stty erase "^H" kill "^U" intr "^C" eof "^D" susp "^Z"
parece que o seu terminal normalmente envia ^? (ASCII DEL), mas você disse para esperar ^H (ASCII BS). Entretanto, seu terminal muda para ^H quando você modifica o backspace com a tecla shift . Você poderia ter usado
stty erase "^?" kill "^U" intr "^C" eof "^D" susp "^Z"
e obtivemos melhores resultados.