Normalmente, uma placa gráfica adequadamente configurada não permitirá que você (por padrão, de qualquer forma) defina uma resolução maior que a máxima do monitor, supondo que ele possa detectá-la.
Caso contrário, apenas continue levantando as res até encontrar uma (da relação de aspecto apropriada) que não funcione. É improvável que você danifique um LCD simplesmente mudando brevemente para uma posição fora dos limites.