Lição educacional rápida em formatos de disco para você: no Linux (e em muitos outros unices) o sistema de arquivos é virtual no sentido de que você tem vários dispositivos de bloco (partições no disco rígido) e todos eles são montados em uma árvore. Por exemplo, no meu sistema eu tenho:
/dev/sda1 -> /
/dev/sda2 -> /home
A maioria dos instaladores da distribuição não apresenta informações para você em termos de uma unidade C: porque eles não têm esse conceito - eles são apenas partições que podem ser montadas na árvore.
O próprio Windows possui diferentes partições - cada partição que pode ler atribui uma letra de unidade - começando com C: (historicamente porque A: e B: eram para duas unidades de disquetes).
Assim, do ponto de vista da instalação do Linux, a maioria dos instaladores do linux lhe oferece a chance de alterar partições através de algo como gparted (eu acho que os instaladores do Ubuntu / Fedora escondem isso sob uma opção "customizada") e então decidir onde você quer para "montá-los" - ou seja, em qual pasta na árvore VFS essa partição armazenará os dados.
Você pode instalar o Linux e o Windows lado a lado. Muitos instaladores devem oferecer a opção de fazer isso; Como alternativa, você pode configurá-lo manualmente.
Em uma nota lateral - parece que você está prestes a destruir uma instalação do Windows. Você pode preferir experimentar o Linux através de um Live CD um pouco antes para ver como é - outras alternativas incluem o software de máquina virtual para experimentar o Linux no Windows.