Como afirma a steeldriver, se você usar o GNU sed, você pode dizer qual ocorrência deve ser substituída, por exemplo:
echo "/test/test/ 12 /test/test" | sed -n -e 's_/._/_2 p'
Se você não pode usar esse recurso, você também pode escrever:
echo "/test/test/ 12 /test/test" | sed -n -r -e 's_(/[a-z]([a-z]+))_/_ p'
Biliografia: link [ Usando \ 1 para manter parte do padrão ]