Conexão recusada significa apenas isso. Seu servidor está recusando conexões e não apenas você. Eu não consigo me conectar a ele também, e o ping me dá
Pinging bear.freenode.net [78.129.250.51] with 32 bytes of data:
Request timed out.
Request timed out.
Request timed out.
Request timed out.
Ping statistics for 78.129.250.51:
Packets: Sent = 4, Received = 0, Lost = 4 (100% loss),
O IRC tem outras mensagens de erro, caso você seja banido, como o gline. É mais provável que o servidor esteja desativado, e usar o nome de domínio freenode genérico -itv.freenode.net (os pontos de domínio irc do ubuntu no freenode também) geralmente é uma idéia melhor, portanto, você pode ser apontado para o servidor correto.
Dito isto, se houver uma boa razão para você achar que tem uma proibição no servidor, é um bom momento para reexaminar o erro dos seus caminhos