Você precisará criptografar separadamente para cada sistema
No Windows : O Bitlocker é integrado e fácil de usar. Uma alternativa é Veracrypt .
Em Linux : A abordagem tradicional é usar dm-crypt .
É tecnicamente possível ter uma partição criptografada separada usada pelos dois sistemas (quando dupla inicialização) se ela for criptografada por tecnologias portáteis. O agora extinto Truecrypt poderia fazer isso, o Veracrypt deveria ser capaz também (já que é um fork) mas eu não testei isso.