Você está certo, a principal desvantagem de usar um TTL baixo é que você acabará lidando com uma carga de consulta maior do que com um TTL mais alto. Dito isso, desde que seu host DNS não tenha problemas com o processamento da carga adicional, vá em frente. Honestamente, se eles tivessem preocupações sobre sua capacidade de lidar com a carga, eles não permitiriam que você definisse um TTL muito baixo para seus registros (embora muitos tendam a recomendar que você defina seu TTL tão baixo quanto necessário, o que é um recomendação de som devido ao ponto de experiência do usuário que ceejayoz fez).
Além disso, devo mencionar que muitos ISPs resolvedores de DNS ignoram completamente a configuração TTL e apenas definem sua própria expiração de cache em registros, portanto, para muitos casos, alterar o TTL não fará diferença na quantidade de consultas que terminam acertando os servidores autoritativos do seu domínio.