Posso me livrar disso? E se sim, por que a instalação do cygwin não fica lá?
Sim, você pode removê-lo.
A instalação deixa lá como é uma cópia dos arquivos de instalação e você escolheu fazer uma instalação local.
Provavelmente você também escolheu instalar tudo:
Q: How do I install everything?
A: You do not want to do this! This will install an enormous number of packages that you will never use, including debuginfo and source for every package.
If you really must do this, clicking on the "Default" label next to the "All" category to change it to "Install" will mark every Cygwin package for installation. Be advised that this will download and install tens of gigabytes of files to your computer.
Fonte Instalação do Cygwin