OSPF é um IGP (protocolo de gateway interno), enquanto O BGP é o único EGP real (protocolo de gateway externo) atualmente.
Se você estiver fazendo o roteamento interno, isto é, roteando dentro de um site, empresa ou campus, você desejará usar o OSPF. Normalmente, o BGP é necessário em uma borda do site, onde você direciona para a Internet pública. Em redes pequenas e médias, as rotas estáticas para o exterior geralmente serão preferíveis à configuração do BGP. Se você tiver um site multihomed complicado, independentemente do tamanho, você pode considerar o BGP.
Você realmente não vai querer usar o IGRP - é a versão obsoleta e mais antiga do EIGRP proprietário da Cisco (também proprietário). O EIGRP é confiável, bastante intuitivo e comparável em desempenho ao OSPF, mas é executado somente em equipamentos da Cisco.
Eu não recomendaria o IS-IS para a maioria dos projetos. IS-IS é um protocolo de estado de link como o OSPF, mas é usado raramente, normalmente apenas nos ISPs atualmente ( embora alguns possam chamar de um protocolo de roteamento generalizado, mas de nicho. Você pode certamente usá-lo se estiver disponível em sua plataforma, mas você encontrará recursos para solução de problemas mais difíceis de encontrar.
O RIP é adequado e mais adequado para um site pequeno, embora você no Linux (e na maioria das plataformas modernas), você realmente estará usando RIPv2 . É mais fácil configurar do que os outros mencionados, embora não seja usado fora de implementações de redes pequenas devido a suas limitações. Se você está tentando ganhar conhecimento, isso é um bom ponto de partida.
O OSPF é o padrão IGP independente do fornecedor (ou seja, não é de propriedade da Cisco) e pode ser fácil de ser complexo, dependendo das suas necessidades.
Estou assumindo que você está falando sobre o IPv4 em vez do IPv6. Suas necessidades a esse respeito (como em outros) terão um impacto direto em qual protocolo de roteamento você usa. OSPFv3 é a versão com capacidade para IPv6 do OSPF; O OSPFv2 é o mais comum agora, mas é apenas IPv4.
* nix-wise, os sistemas bsd também são boas opções para executar implementações em nível de produção bsd ou ospf, se o hardware puder manipular o throughput.