Muitas partições não devem deixar o computador mais lento (além da variação menor nos tempos de acesso ao disco mencionados acima), mas você não precisa das partições pelo motivo que declarou, portanto, não há problema em usar uma única partição em vez disso.
Pastas são apenas ideias lógicas em sistemas de arquivos em disco modernos como o NTFS (eles não 'realmente' existem - mas isso é uma outra conversa), então não há restrições sobre o quanto uma pasta individual pode conter. As principais restrições de tamanho na maioria dos sistemas de arquivos são o tamanho da partição, o tamanho de um arquivo individual e, às vezes, quantos caracteres você pode ter em um caminho. No NTFS do Windows 7, ambos os limites são enormes - 256 TiB (262144 GB) para uma partição e 16 TiB (16384 GB) para um arquivo. [fonte]