Как мне кажется, этот вопрос можно рассматривать чисто риторически и философски… Облака проплывают куда-то вдаль, туда, куда «уходит детство».
Или применить более материальный подход — облака плывут в конкретном направлении (на север, юг, восток, запад), которое определяется направлением дующего вверху ветра (воздушного потока).