Selecionar essa opção basicamente comprime todos os arquivos DLL e SYS antigos na pasta do Windows que não foi acessada recentemente ou nunca. Ele usa a compactação NTFS normal e, para ser muito honesto, os discos rígidos atuais têm pouco ou nenhum impacto nos tamanhos das pastas. Esses arquivos já ocupam um espaço mínimo.
O How-To Geek tem um artigo aqui descrevendo como ajustá-lo. A descrição mais precisa do The Elder Geek aqui é:
Unlike the other categories, Compress Old Files doesn't delete any files from the drive. It compresses files that Windows hasn't accessed for a specified period of time. The files are still available, but there will be a slight increase in access times because the files will be decompressed the next time they are accessed. Note that when Compress Old Files is highlighted an Options button appears. Clicking it will allow you to set the number of days to wait before an unaccessed file is compressed.
Para responder à segunda parte da sua pergunta, a compactação NTFS é razoável se você armazenar muitos dados, como Música, Documentos e Vídeos, e se NÃO estiver ativado em sua unidade do sistema operacional. Se você tiver uma segunda unidade apenas para armazenamento, ela poderá ser ativada, mas as taxas de compactação são extremamente pequenas. Você não verá 100 GB de espaço salvos usando esse recurso e não é tão compacto quanto compactar os arquivos, por exemplo.
Entre outros, o SQL Server não permite que o banco de dados seja armazenado em volumes compactados NTFS, pois o desempenho na descompactação é extremamente caro.