Você deve usar o comando fwtmp
para alterar o arquivo.
Você pode usá-lo como um filtro para filtrar o wtmpx (que tem um comprimento de bloco fixo). Para manter as últimas 500 entradas:
< /var/adm/wtmpx fwtmp | tail -500 > /var/tmp/tailwtmp
cat /var/tmp/tailwtmp | fwtmp -ic > /var/adm/wtmpx
Você pode ter que especificar o caminho completo para fwtmp ( /usr/lib/acct/fwtmp
) dependendo do seu PATH env var.
Uma página man do fwtmp pode ser encontrada aqui