Até onde eu sei, o Excel não oferece uma maneira fácil de fazer isso. Uma omissão gritante se você me perguntar. Você pode fazer isso com uma macro VBA:
Sub ConvertToUpperCase()
Dim Rng As Range
On Error Resume Next
Err.Clear
Application.EnableEvents = False
For Each Rng In Selection.SpecialCells(xlCellTypeConstants, xlTextValues).Cells
If Err.Number = 0 Then
Rng.Value = StrConv(Rng.Text, vbUpperCase)
End If
Next Rng
Application.EnableEvents = True
End Sub