Você tem que escapar do $
com outro $
e citar o nome:
define service{
use generic-service
host_name SERVERNAME
service_description MSSQL Service
check_command check_nt!SERVICESTATE!-d SHOWALL -l 'MSSQL$$PROD'
}
Como alternativa, você pode omitir as aspas simples usando MSSQL\$$PROD
. Eu gosto da primeira chamada mais;)