Eu posso pensar em duas ferramentas que podem ajudar muito.
-
fpm - Isso criará um rpm de uma árvore de software arbitrária.
-
Omnibus - Esta ferramenta foi criada para resolver exatamente o problema que você está descrevendo, instalando um aplicativo Ruby com todas as dependências necessárias.