Acho que esta pergunta descreve um caso semelhante ao que você estão experimentando. Tente verificar isso executando sudo swapoff -a
antes de desligar. Reativar swap com sudo swapon -a
O problema é que, se é esse o seu caso, você não pode fazer muito a respeito.