Além do óbvio espaço em disco desperdiçado, não há uma desvantagem real em ter uma grande partição swap, embora isso dependa, até certo ponto, do que você entende por "grande". Se você configurá-lo ridiculamente grande, a troca se torna menos eficiente do que já é, e você pode até se colocar em situações em que a troca causará uma falha, mas assumindo que você não está ficando louco com o tamanho, a única coisa que está fazendo está desperdiçando espaço em disco que você poderia teoricamente usar para outra coisa.