O maior problema é que fora da caixa não é muito apertado.
De Wikipedia :
Officially, XAMPP's designers intended it for use only as a development tool, to allow website designers and programmers to test their work on their own computers without any access to the Internet. To make this as easy as possible, many important security features are disabled by default.
Se você sabe o que está fazendo e aproveita para protegê-lo adequadamente, é tão inseguro quanto os aplicativos da web e as senhas que você definiu em seus serviços.
Se você não sabe o que está fazendo, ou não toma tempo para protegê-lo adequadamente, ele tem o potencial de ser uma grande falha de segurança.