Substitua o primeiro \W por ${OLDPWD/\/home\/$USER/\~} :
PS1='${debian_chroot:+($debian_chroot)}\[3[01;32m\]\u\[3[00m\]:\[3[01;36m\]${OLDPWD/\/home\/$USER/\~}:\[3[01;34m\]\W \[3[00m\]$ '
~$ cd tmp
~/tmp$ PS1='${debian_chroot:+($debian_chroot)}\[3[01;32m\]\u\[3[00m\]:\[3[01;36m\]${OLDPWD/\/home\/user/\~}:\[3[01;34m\]\W \[3[00m\]$ '
user:~:tmp $
${OLDPWD/\/home\/$USER/\~} é uma expansão de parâmetro que substitui uma possível expansão de /home/$USER no início de $OLDPWD com ~ , para imprimir ~ em vez do caminho completo do diretório base do usuário (imitando o comportamento do prompt padrão).
Se isso não for desejado, substitua \W apenas por $OLDPWD :
PS1='${debian_chroot:+($debian_chroot)}\[3[01;32m\]\u\[3[00m\]:\[3[01;36m\]$OLDPWD:\[3[01;34m\]\W \[3[00m\]$ '
~$ cd tmp
~/tmp$ PS1='${debian_chroot:+($debian_chroot)}\[3[01;32m\]\u\[3[00m\]:\[3[01;36m\]$OLDPWD:\[3[01;34m\]\W \[3[00m\]$ '
user:/home/user:tmp $