Sim, você pode, assim:
GRANT [Permission] ON [SchemaName].[TableName] to [UserName]
Em que [Permission]
é SELECT
, UPDATE
, DELETE
ou INSERT
. Você também pode usar DENY
em vez de GRANT
para remover as permissões.
Outras leituras: link