Que tal isso:
str='>>tr|G1PEZ0|G1PEZ0_MYOLU Uncharacterized protein (Fragment) OS=Myotis lucifugus GN=SNCG PE=4 SV=1'
echo "$str" | sed -e 's/ .*//' -e 's/.*|//' -e 's/^/>/'
Que usa 3 substituições separadas - exclua tudo do primeiro espaço na linha, exclua tudo até o último |
na linha e coloque um >
de volta como o primeiro caractere da linha.