O motivo pelo qual ele não permite encolher mais de 800 MB é porque no Windows você tem um bloqueio de arquivo obrigatório. Ou seja você não pode mover / excluir um arquivo no disco quando ele é aberto.
Portanto, se algum dos arquivos do sistema (que são carregados quando o Windows for executado) estiver no final de sua partição, ele evitará encolher além dessa parte, porque o Windows não poderá movê-lo para outro local porque está sendo acessado e assim bloqueado.
E é por isso que você ainda pode fazer o encolhimento de um Live CD, porque esses arquivos não serão carregados porque o Windows não estará em execução. Como os outros sugeriram, pegue o GPparted Live , ele funciona muito bem e tem uma interface agradável e intuitiva.