Você está certo de que, se o arquivo de paginação estiver em um volume ou unidade criptografada, o arquivo de paginação será criptografado junto com todo o restante. A criptografia de todo o volume e toda a unidade funciona em um nível baixo na pilha de armazenamento, onde todo o conceito de "arquivo" não existe (assim como na própria unidade), portanto seria bastante difícil que uma exceção fosse feita arquivos (não impossíveis, mas eu não sei porque alguém se incomodaria).
Sua interpretação do aviso está incorreta. Deve ser lido como
Then you needn't worry about your sensitive data being unencrypted in the paging file, as it would be if you didn't use whole-volume or whole-drive encryption.
(texto em itálico adicionado por mim, claro)
O que eles estão avisando é que, mesmo que você use a opção "limpar arquivo de paginação no desligamento", se alguém conseguir desligar sua máquina e sair da sua unidade, o conteúdo do arquivo de paginação não será apagado (porque os procedimentos normais de desligamento foram ignorados).