Theo sử sách triều Nguyễn, năm 1864, vua Tự Đức bắt đầu tiến hành xây dựng Vạn Niên Cơ ở khu vực gần đồi Vọng Cảnh, phường Thủy Xuân ngày nay để làm nơi nghỉ ngơi. Khu vực này được bao phủ rừng thông, gần với sông Hương. Nhà vua giao việc xây dựng Vạn Niên Cơ cho Bộ Công tiến hành, Thị lang Nguyễn B