Esse comportamento é distro agnóstico.
Você tinha aberto uma cotação, o shell está exibindo a variável global $PS2 ( $PS2 é o > em sua saída) enquanto a segunda cotação está faltando.
Você pode alterar o PS2 com o que quiser:
Ex: export PS2=">>>"
O valor de $ PS2 é impresso (após a expansão) como o prompt secundário para mais dados quando o bash está sendo executado interativo. Veja man bash , em PROMPTING.