Is it possible to do this without doing a format/reinstall?
Sim. Segundo este documento Server 2003 R2 NÃO está listado como um caminho de atualização "não suportado", o que é um bom sinal.
Can I upgrade the OS to 2008 and then upgrade SQL to 2008?
Sim .
Is there going to be a problem upgrading SQL to 64-bit?
Sim. Você normalmente não pode atualizar de 32 bits (nada) para 64 bits (nada), portanto, será necessário fazer uma nova instalação do SQL Server 2008 R2 de 64 bits em uma instância nomeada e, em seguida, migrar tudo.