Isso é simplesmente uma característica do tema. Você pode editar o gtkrc ou alterar o tema.
Provavelmente apenas melhor para você mudar o tema se não tiver certeza. Você pode usar gedit para editar o tema. Geralmente será em /usr/share/themes/themename/gtk-2.0/ .
Olhando para o tema, a linha relevante parece ser a linha 71:
GtkEntry::progress-border = { 2, 2, 2, 2 }
Tente alterar esses valores e veja se a borda desaparece (ainda não instalei o tema, por isso não posso confirmar).
Outro conjunto potencialmente relevante de linhas são as linhas de 358 a 361:
style "progressbar"
{ e xthickness = 1
ythickness = 1