O operador >> irá realmente anexar a um arquivo. É uma derivada do operador > , que faz o que você deseja - trunca o arquivo para comprimento zero e redireciona a saída para esse arquivo, substituindo o que estava no arquivo pela saída do comando que você está executando.
Então:
base64 filename > encodedfile
fará o que você está interessado em fazer.