Se o '>' personagem aparecem em uma única linha como você mostra na pergunta, você pode apenas:
grep -wv '>' thefile
Resultado:
'< Jan 20 Sep> This is the sample out put
This is Sample
'< Jan 21 Sep> This is the sample out put
This is Known Errors