南亭之游（參見《游南亭》）后，謝靈運開始了他在永嘉境內的探奇搜勝。一方面山水并不能真正撫平他心中的幽憤，所以這一段時間中，他的詩中經常出現“倦”游的字樣；然而另一方面，山水又時時給他以新的感受，使他失去平衡的心態，至少獲得宣泄而趨于暫時的平衡。也就在這種徬徨徜徉中，他確立了自己山水詩鼻祖的地位，這或許是他自己始料所未及的吧。

赤石在永嘉郡南永寧（今浙江永嘉）與安固（今浙江瑞安）二縣中路之東南，去郡約有數十里，東瀕今日的溫州灣。帆海，注家常以為地名，其實可商，據宋鄭緝之《永嘉郡記》，“帆游山，地昔為海，多過舟，故山以帆名”，在安固縣北。靈運所謂帆海之地，當在此山一帶。但鄭記并未說有帆海地名，因此帆海二詞當是動賓結構，題意似為游覽赤石，進而揚帆海上。詩的重點在帆海，游赤石只是引子。

詩分三個層次，由起句到“況乃陵窮發”為第一層，寫倦游赤石，進而起帆海之想。由“川后”句至“虛舟”句為第二層次，正寫帆海情狀與心態變化。“仲連”句以下，為第三層次，即游生想，結出順天適己，安養天年之旨。心情的變化則是貫串全詩的主線。

“首夏”二句遙應《游南亭》詩“未厭青春好，已睹朱明移”，既點明此游節令，又顯示了一種莫可如何而慰情聊勝無的復雜心情。游南亭觸景生情，由春夏迭代中，深哀盛年已去，衰疾在斯。這里說，初夏了，天氣總算還清爽煦和，芳草也未嘗因驕陽的淫威而枯萎。可見詩人似乎已從前詩的悲感中稍稍復蘇。尤可注意：“芳草猶未歇”，實反用《離騷》“及年歲之未晏兮，時亦猶其未央，恐鵜鴂之先鳴兮，使夫百草為之不芳”，則又于自幸自慰中，見出謝客這位“逐臣”的傲兀性格來。但是這種欣慰并不能維持多久，在出郡數十里南游赤石中，日復一日地水行水宿，未免單調，而陰晴的變化，云霞的出沒，也因屢見而失去了新鮮之感。這濱海的周游，已使人厭厭生“倦”，更何況面臨的是極北不毛之地，窮發更北的溟海呢。有人認為“況乃臨窮發”是寫詩人豪情勃發，頓起泛海之想，然而“況乃”二字分明承“倦瀛壖”來，見出帆海之前，詩人的心情并不甚佳。

然而當舟船沿港灣進入大海，奇景忽開，水面一平如鏡，川后既令江水安流，八首八足八尾背青黃的朝陽谷神水伯天吳，雖然脾氣暴虐，此時卻也“靜不發”，仿佛都在迎接詩人的來游。于是他高張云帆，泛舟海上，隨意掇取那形如龜足的石華，那其大如鏡白色正圓的海月。而當他抬頭回望時，溟海無涯，心情也竟如坐下的輕舟而起凌虛憑空之想。

出涯涘而觀大海，詩人之所感，必也與《莊子·秋水》中那位河伯一樣，涵容無盡的海波，真使他心胸開張，一掃積日累月的煩酲。于是他即游生想，遠追往古，進而悟徹了人生的至理：海上曾有過形形色色的隱者，有助齊卻燕，功成辭賞而退的魯仲連；也有“身在江海之上，心居魏闕之下”的公子年（見《莊子·讓王》）。形蹤雖似，而其趣迥異。后者只是矜伐虛名的假隱士，與莊子所說的“無以得殉名”（《秋水》）格格不入，有虧大道。而似魯仲連所說“吾與富貴而詘于人，寧貧賤而輕世肆志”，才深合漆園傲吏物我兩忘，適己順天，“返其真”的至理。兩者相較，詩人似乎對自己既往自負任氣蹙蹙于一己得失的生活有所警省，他愿意銘記《莊子·山木》中太公任（任公）教訓孔子的一段話：“直木先伐，甘泉先竭”。露才揚己，必遭天伐，唯有“削跡損勢”，澡雪精神，中充而外謙，才能養生全年——這正與淵深無底，廣浩無涯，卻一平如鏡的大海一樣。詩至此，情景理完全契合無際。

方東樹《昭昧詹言》曾指出，謝客博洽而尤熟于《莊》，此詩不僅取義于《莊子》，而且在構想上也有得于《秋水篇》。詩以赤石為賓，帆海為主，以“周覽倦瀛壖，況乃陵窮發”與“溟漲無端倪，虛舟有超越”兩聯作轉折頓束，遂在層曲的寫景抒情中表達了出涯涘而睹汪洋所引起的精神升華，情與理與典實均能合若符契，足見謝詩結構之精。

此詩的情理又都在自然精美的寫景記游中自然地體現。“揚帆采石華，掛席拾海月”，海產珍奇，而俯拾皆是，可見詩人揚帆于暖風靜海中盈滿心胸的恬適之感，于是下文請從任公適己順天之想也就水到渠成了。鮑照評謝詩云“如初發芙蓉，自然可愛”（《南史·顏延之傳》），正是指的這種中充實而溢于外，風華流麗而不傷于巧的語言特色。