Sim, você pode remover o arquivo .deb. É o mesmo que instalar um programa a partir do Windows - você pode remover com segurança o instalador. O Ubuntu mantém um registro de como desinstalar o programa em um local separado, portanto, o .deb não é mais necessário.
O diretório git provavelmente ainda está ocupando espaço com o que foi baixado antes de você cancelá-lo. Você pode excluí-lo com segurança. Ele será chamado em qualquer que seja o nome do seu repo.