Na verdade, o programa oficial para editar as entradas passwd e shadow é vipw.
Existem arquivos htpasswd para arquivos de senha para sites, que possuem um formato simplificado. Se você está pensando em um exemplo de outro tipo de arquivos de senha.
Além disso, as únicas alternativas que me vêm à mente que podem fazer algo semelhante ao que você propõe são chroot / jails / VServers / containers. Ou recompilando os utilitários necessários com um caminho de arquivo diferente.
No final do dia, o formato não é tão complicado, e você pode escrever scripts para isso, embora eu recomende testá-los previamente em arquivos simulados. A probabilidade de bagunçar é grande e esses arquivos são importantes para a integridade do sistema.
Quanto à sua última pergunta, instale e use o comando makepasswd:
makepasswd --crypt-md5 --chars=10
O makepasswd, além de gerar senhas aleatórias, também pode criar senhas criptografadas a partir de senhas em texto puro.