Sim, geralmente é seguro.
O Apt tem os pacotes assinados e verifica essas assinaturas.
O Ubuntu é baseado no Debian, que projetou o sistema de pacotes. Se você quiser ler mais sobre a assinatura de seu pacote, você pode fazê-lo no link .
Suponho que um espelho não poderia informá-lo sobre as atualizações quando elas forem lançadas, mas você provavelmente notaria que não estava recebendo atualizações depois de algum tempo.