北宋景祐三年（１０３６），騰子京謫守巴陵。時範仲淹被貶嶽陽，騰子京請範仲淹寫了《嶽陽樓記》。範仲淹被貶，餘靖上書反對。於是，餘靖同樣受到被貶逐的厄運。

　　康定二年（１０４１），即慶曆元年。餘靖被貶後得到重新録用，擢昇右正言。這時樂昌知縣黃昌齡（字子元）邀請餘靖遊樂昌寶林寺及西石巖寺。時寶林禪院舉行慶典，餘靖爲樂昌縣廊田寶林寺題寫寺記（見附文）及《同黃宰游寶林精舍書圓祐長老壁》律詩一首。爾後又爲西石巖寺題撰《同遊泐豀石室記》，記述了餘靖在樂昌的所見所聞。現從《韶州府志》録出並勘録點注如下：

　　附：樂昌縣寶林禪院記

　　上士冥心而履道，其次崇善以濟物，道充於內而跡彰於外，物應於邇而聞於遠。所以諮事而察其言，尋聲而索其實。一家之譽，必用之於鄉，一鄉之秀，必昇之於國。蓋善惡起諸已（己），毀譽成諸衆。擇賢採異，用此術也。

　　今夫！推自稠人之中，昇於萬座之上。巍然當室之北，以師道自處，使同袍濟濟，北面就列，拜起趨揖，如事君父。若非深識，懸解領悟，性相舂容，一音發蒙。去惑者衆多之心，豈易伏哉！□八右鬼，而劉氏尤佞於佛。故曲江名山秀水，膏田沃野，率歸於浮屠。氏郡之屬，邑曰樂昌，去縣郭四十裏，有院曰寶林，地靈境勝，一邑之冠。遠郊近落，率來瞻仰。故常登延開士，主其熏（重）修。嗚乎！棲山林以遂其高；遁江海以安其閑。幽人奇士，所以奉其饘粥，果能擇得聞人以付之。俾其發揚佛事，開導氓俗，奉行諸善，共避衆惡，此乃因高閑之適成，兼濟之功者也。

　　今長者圓祐師，福州懷德人，姓陳氏，學頓放於黃梅山顯宗禪師。服勤二十年，晝問夕參，遂探幽鍵，乃曰：“未脫自縛，安能度人？”即謀南歸，以蔔終焉之計。惟茲寶林之衆，屢易師長，而莫能興葺以延四方。於是計使鄒公覃（檀）越，遠聽博採，得師於虔之慈雲。遂通以來，俾屍其衆。時景祐三年（１０３６），先是院制度狹小，不克稱其名殿，陛（階）卑下堂奧淺，仄居才數畝。面臨迥（回）照，影過亭（停）午，則暑氣鬱勃，坐者揮汗，至於末光。師以日廩之餘，悉付營造，易其堂殿，負陰向陽。增築厥基，殆逾百堵，伐山、陶土，剞劂、圬墁之工，百役自具，不假外徇。居者執畚而同力；來者掛錫而如歸。夏開南榮，冬寒墐戶。無復往時之陋也。乃知擇得其人，爲利自溥。但無意侵漁，能守厥舊，已足佳矣。矧能指無修之要，以悟自性，精有爲之，勤（勒）以勵後學。此而不記，將孰記焉？（宋·餘靖）

　　康定二年（１０４１）九月□日記

　　（録於《韶州府志》）