Why does cloning (via ssh) my own repository from github require my passphrase?
Como seu cliente SSH não pode descriptografar sua chave sem saber a frase secreta, e sem uma chave descriptografada, ela não pode se conectar ao servidor e executar git-upload-pack
lá.
So as a consequence: Would it be a huge safety-issue if I generate some ssh keys without a passphrase
Não muito, desde que você mantenha seu computador seguro (tanto fisicamente quanto de outra forma).
No entanto, uma chave para todo uso do Github deve ser suficiente. A maioria dos clientes SSH tem um programa "agente" que permite que as chaves sejam desbloqueadas uma vez e mantidas na memória: Chaveiro GNOME, ssh-agent
, Concurso PuTTY, gpg-agent
...