sed -i 's|\|/|g' checksums.md5
O formato de saída md5sum não usa nenhuma "notação de shell" - nem cmd nem sh . Cada linha tem exatamente dois campos (hash e nome de arquivo), portanto, nenhum escape deve ser necessário para nomes de arquivos.
A diferença somente é o uso de \ versus / como o separador de caminho em sistemas diferentes. (A maioria dos programas do Windows também aceita / .) Basta substituir todas as barras invertidas e pronto.