張衡，字平子，南陽西鄂人。張衡的先世是南陽郡的著名大族，祖父張堪歷任蜀郡，漁陽太守，由於為官清廉，死後家境清苦。張衡天資聰穎，又勤奮好學，年輕時就很會寫文章，而且在當地有了不小的名氣。他不願長期呆在家裡等候地方官吏推薦他做什麼「秀才」，「博士弟子」。永元六年（94），十六歲的張衡就懷著求知和遠遊的志向，離別家鄉來到長安。他首先遊歷了「三輔」各地。三輔地區以西都長安為中心，包括京兆，左馮翊和右扶風。當時，那裡經濟繁榮，百姓富裕，又是文化學術的中心。在這次遊歷中，他來往於渭河平原，有機會登臨華山，攀登終南山等名勝古蹟，考察和收集關中各地的歷史，文物，風土人情以及山川要塞，商業貿易，王侯將相的故事等等。這些經歷為他後來寫作《兩京賦》打下了堅實的基礎。

一年以後，張衡來到了當時的京城洛陽。那裡設有最高學府——太學。他沒有經過郡太守的選舉，因此不可能作為博士弟子進入太學學習和參加他們的討論。但他經常到太學去參觀，以「尋師訪友」的方式向那些當時的名流虛心請教。在洛陽五六年間，他不僅廣泛學習，貫通了五經六藝，更重要的是結識了一批著名的學者和優秀的，有思想的青年，如晚年成為經學大師的馬融，日後寫出著名論著《潛夫論》的王符等等，都對張衡起過積極的影響。特別是後來成為儒學名宿的崔瑗，年輕時也愛好天文，數學，曆法，經常和張衡在一起研究，討論問題。這段遊學生涯，使張衡增加了見識，擴大了眼界，對他以後獲得卓越成就產生了深遠的影響。