Sim. Você pode instalar os Aplicativos da 3ª Parte, desde que eles não dependam das partes do Windows que estão faltando. No seu caso, o MySQL irá instalar.
É possível instalar componentes de terceiros em uma instalação do Windows Server 2012 Core que normalmente exigem uma GUI? Por exemplo, se eu quiser instalar um servidor MySQL em uma instalação do Core, isso seria possível? Eventualmente, o servidor de banco de dados será executado como um serviço e não precisará de GUI.
Estou basicamente limitado a componentes nativos do Windows 2012 em uma instalação principal?
Depende do instalador do seu software. Muitos instaladores não são executados porque dependem de componentes do Windows que não estão presentes no Server Core.
Muitos instaladores vêm com um switch -quiet ou -silent para executar a instalação sem iniciar a parte GUI do instalador. Em muitos casos, eles têm um arquivo de resposta no qual você pode especificar os componentes a serem instalados.
Como Chris S. disse, o Server Core não é sem GUI, ele tem a GUI normal do Windows com Windows, o que falta é o Windows Explorer, o IE, o console de gerenciamento, o WPF, etc.
É difícil dizer se um programa GUI será executado no Server Core, muitas pequenas ferramentas fazem. Eu até mesmo executo o navegador Netscape 3 às vezes para solucionar problemas locais
Alguns de meus aplicativos de formulários do Windows em dot.NET também estão em execução, enquanto outros não, porque determinados componentes não estão presentes.
Se o instalador do seu software não for executado, você ainda poderá fazer com que o software seja executado. Em alguns casos, instalei o software em um servidor da GUI e copiei os arquivos e, potencialmente, as entradas do Registro para o servidor núcleo.
Com o tempo, mais e mais fornecedores oferecerão instaladores que trabalham no Server Core.