Minha primeira vez aqui.
Gostaria de saber se você pode listar os arquivos sem tentar restaurar ainda. Você poderia tentar fazer isso com tar -tvf /dev/rmt0
E também, é possível que você possa capturar a saída para um arquivo em vez de para STDOUT (sua tela)?
tar -tvf /dev/rmt0 1>/tmp/rest.out 2>/tmp/rest.err
Algumas outras áreas para analisar. É realmente memória física? Se assim for, você deve estar vendo alguns acessos no espaço de paginação com o comando lsps -a ou usando um utilitário como o nmon (opção m para memória) ou topas.
Um outro pensamento: não é algo tão simples quanto o NCARGS. Da memória (com o perdão do trocadilho) isso daria um erro diferente, como "a lista de parâmetros é muito longa". Mas pode valer a pena verificar usando: lsattr -El sys0 -a ncargs
Algumas outras opções são tentar a restauração em uma LPAR diferente, supondo que você tenha outra LPAR que possa ter essa ou outra unidade de fita atribuída a ela.
Espero que isso seja uma ajuda.