Você não tem uma barra final (o segundo caractere final):
's/INSERT INTO 'tablename.*'/INSERT INTO \'othertable\'/'
Isso funciona no bash, mas obviamente não funcionará no Windows cmd:
echo INSERT INTO ''tablenameasdf'' | sed 's/INSERT INTO 'tablename.*'/INSERT INTO \'othertable\'/'
INSERT INTO 'othertable'