se o iptables estiver rodando na sua máquina, você precisa abri-lo para essas duas portas que você mencionou.
para verificar se o iptables está rodando, execute o comando:
service iptables status
se estiver em execução, edite o arquivo /etc/sysconfig/iptables
e insira estas duas linhas:
-A INPUT -m state --state NEW -m tcp -p tcp --dport 6667 -j ACCEPT
-A INPUT -m state --state NEW -m tcp -p tcp --dport 6697 -j ACCEPT
execute
service iptables restart
se o iptables não estiver sendo executado, pode ser um assunto diferente, como o fato de seu provedor de VPS não permitir a passagem do tráfego de IRC. Leia os termos de serviço e veja se há algo dizendo algo como "você não pode executar servidores irc" ou similares.