Você pode fazer isso usando uma fórmula. Eu começaria com:
= HIPERLINK (H3 & "\ out")
Editar Desculpe, interpretou mal a questão. A outra metade da resposta é que você precisa de algum código VBA como esse, modificado de esta resposta no SO:
Sub LoopThroughFiles()
Dim MyObj As Object, MySource As Object, file As Variant, i As Integer
file = Dir("D:\My Folder\", vbDirectory)
While (file <> "")
i = i + 1
ActiveSheet.Cells(i, 1) = file
file = Dir
Wend
End Sub