Você pode simplesmente excluir a pasta criada, da maneira que preferir. Por exemplo, rm -rf site-cookbooks/ruby
.
Simplesmente renomear a pasta não funcionará, pois haverá referências ao nome original em vários arquivos do livro de receitas. Muitos deles são apenas comentários, e todos podem ser atualizados, mas na sua situação é mais fácil excluir e recriar.