Quando você está alterando dados que estão em outro conjunto de caracteres, primeiro é necessário alterá-lo para blob e, em seguida, para o conjunto de caracteres de destino (latin1). Se você não fizer o mysql fará a conversão para você e você não o fará, já que você já possui os dados em latin1?
AFAIK quando você usa set chatacter definido em uma conexão (isto é, php) o mysql converte automaticamente todos os dados na tabela para o conjunto de caracteres da conexão.