Use isto:
sed 's/|END|/\n/g' test.txt
O que você tentou não funciona porque o sed usa expressões regulares básicas , e sua implementação sed tem um \|
operator significa “or” (uma extensão comum para BRE), então o que você escreveu substitui (string vazia ou END
ou string vazia) por uma nova linha.