Você usa a expressão "sem responder". Posso imaginar que você deseja responder e informar ao organizador da reunião que você recusou o convite, mas ainda o mostra em sua agenda.
Se a resposta for o problema, quando você receber o convite, recuse-o e envie uma resposta como de costume. Em seguida, encontre a solicitação de reunião na pasta de itens excluídos e aceite-a como provisória. Escolha 'Não enviar uma resposta'.
Dessa forma, a reunião será adicionada à sua agenda, mas o organizador será informado de que você recusou a reunião.