Sim, é seguro excluir manualmente os backups. Não será mais rápido, no entanto. O Time Machine usa links físicos para economizar espaço. Um link físico é o local onde um arquivo físico em seu disco rígido é mapeado por vários arquivos lógicos (ou seja, o que você vê no Finder). Quando o Time Machine está fazendo backup, vincula todos os arquivos que não foram alterados. É assim que pode haver várias cópias deles no backup sem que eles ocupem espaço algum - todos os arquivos lógicos estão apontando para os mesmos arquivos físicos no disco.
O uso de links físicos, no entanto, faz com que as exclusões sejam demoradas. Quando você não tiver nenhum link físico, tudo o que você precisa fazer para excluir um arquivo é remover o arquivo lógico da sua estrutura de diretórios e, em seguida, apagar o arquivo físico no disco *. Quando hard links estão em uso, as coisas ficam mais difíceis porque você não pode simplesmente excluir o arquivo físico imediatamente - outro arquivo lógico pode ser mapeado para ele. Você precisa verificar se nenhum permanece, e isso é demorado. Você tem que fazer isso porque se você não fez, e deixou o arquivo físico intocado, eventualmente seria deixado 'órfão' - usando o espaço no disco, apesar de não ser referenciado por nenhum arquivo lógico.
É por isso que a exclusão leva tanto tempo (na verdade, o período "preparando para excluir" - não a própria exclusão propriamente dita). Excluir com o Finder não seria mais rápido do que excluir com o Time Machine - ambos são limitados pelo sistema de arquivos subjacente.
* É bastante sabido que os sistemas de arquivos normalmente não apagam os dados reais no disco quando um arquivo é excluído, portanto, se você quiser ser pedante, leia "apagar o arquivo físico" como "marque os locais do arquivo físico como livre ".