Existem várias causas e correções potenciais, mas essencialmente está dizendo que você não tem espaço de paginação suficiente para o que você está tentando encaixar na caixa.
Você pode criar um segundo espaço de paginação ou tentar alterar o método de paginação usado pelo AIX, executando
vmo -o lru_file_repage=0
que fará uma alteração que será redefinida na próxima reinicialização. Para torná-lo permanente
vmo -p -o lru_file_repage=1
Há muito o que você pode fazer no AIX para ajustá-lo, mas sem mais informações sobre sua configuração atual, não posso realmente ajudar mais. Há uma boa documentação sobre como ajustar o AIX 5.3 aqui