Dependendo do aplicativo específico, você poderá executá-lo usando o Mono. O Mono permite que você execute a maioria dos programas .NET. Você pode verificar a compatibilidade do aplicativo com o Mono usando esta ferramenta .
Se o seu aplicativo puder ser executado no Mono, você pode tentar instalá-lo no seu Windows Server Core. Se não funcionar, sempre há muitas versões leves do Linux que podem rodar o Mono. Não farei nenhuma recomendação específica aqui, já que não as utilizo pessoalmente.
Editar: Se você estiver executando o Windows Server Core 2008 R2 , há um reduza a versão do .NET para ele , mas alguns recursos podem estar faltando . Um instalador independente adicional está disponível.