Edite seu arquivo sqldeveloper/ide/bin/ide.conf
e altere as duas linhas a seguir:
#
# If you are getting the 'Low Memory Warning' Message Dialog while running
# JDeveloper, please increase the -Xmx value below from the default 768M to
# something greater, like 1024M or 1250M. If after increasing the value,
# JDeveloper is no longer starting up because it fails to create a virtual
# machine, then please reduce the modified -Xmx value.
#
AddVMOption -Xmx1024M
AddVMOption -Xms512M
A outra resposta sobre o uso de -XX:MaxPermSize
em sqldeveloper/bin/sqldeveloper.conf
está desatualizada e não funcionaria nas versões recentes do sqldeveloper. Usar isso resultaria na seguinte mensagem do sqldeveloper na inicialização:
Java HotSpot(TM) 64-Bit Server VM warning: ignoring option MaxPermSize=1024M; support was removed in 8.0