Você deve usar qualquer distribuição com a qual se sentir mais confortável.
A única coisa que posso pensar em cima da minha cabeça que realmente importaria qual distribuição seria "melhor" seria se você planejasse usar as versões fornecidas pelo sistema operacional do Ruby, rails, etc. Não há nada que o impeça de construindo sua própria versão em qualquer distribuição, mas isso pode ser mais trabalhoso do que vale a pena para você.
O RHEL / CentOS não mantém as versões de atualização assim que são lançadas. Isso pode ser bom porque deve eliminar problemas de compatibilidade ao atualizar o sistema operacional. Isso pode ser uma coisa ruim, porque você pode querer um recurso que foi adicionado em uma versão posterior. Você pode acompanhar esse problema adicionando um repositório adicional com versões mais recentes.
Eu não sou um cara do Debian, então não posso falar com detalhes, mas tenho a impressão que o Debian normalmente fornece versões mais novas. Isso pode ser bom porque você não precisará pesquisar um recurso que foi adicionado recentemente. Isso pode ser uma coisa ruim, porque você pode instalar uma atualização e quebrar seu aplicativo.
Mas, na verdade, a melhor resposta é usar o que for mais confortável para você.