Talvez você tenha um pouco mais de latência na primeira consulta do que em alguma outra com anycast, como .com ou .net, mas depois disso, ela é armazenada em cache. Então, não, não é realmente nada para se preocupar.
A agitação civil pode ser uma preocupação, possivelmente.