Não deve haver perigo em ligar uma fonte de alimentação ATX com carga zero.
Dito isto, os resultados podem estar fora da regulação, caçando (ultrapassando e diminuindo seus setpoints), ou ausentes. Nenhuma dessas coisas é "perigosa" de acordo com as definições de segurança usadas por agências reguladoras como a UL.
O que isto significa é que a menos que você aplique alguma carga, você não será capaz de determinar nada de útil, sondando-o enquanto desconectado do PC. O quanto "alguma carga" provavelmente variará de modelo para modelo, mas se você não quiser gastar com um testador de PSU completo, como Kruug sugeriu, tente carregar cada trilho com resistores de potência em 10% de seu máximo avaliado, depois teste com o multímetro. Se o comportamento ainda for ruim, você pode ter uma fonte de alimentação defeituosa.