Como explicado por @ techie007 não existe uma maneira sã e eficiente de identificar o "formato" de um arquivo de texto, mas se você quer testar especificamente se um arquivo contém JSON válido, você provavelmente pode usar jq para esta tarefa, pois acho que ela retornará com um código de erro! = 0
na entrada JSON inválida.