「當財政部長五個月，是我人生最黑暗的時期。」官場走一回之後，呂桔誠有感而發。堅決離開政壇的他，下一步會何去何從？
「 十五歲到五十歲，是我人生最精華的五年，已經貢獻給國家了，」一封聲明稿，前財政部長呂桔誠用感性的文字，陳述了過去五年在官場走一遭的心路歷程，而九月十一日的聲明稿裡，呂桔誠堅定了淡出公職的決心。
自從八月三十一日的行政院會上，行政院長蘇貞昌親自宣布，「呂桔誠請辭政務委員後，將重返金融圈」，又讓「綠營新貴」呂桔誠的落腳處，成為各方揣測的戲碼。
在財政部長任內，呂桔誠在電視節目上公開坦承，有接過趙建銘兩通電話，自此身陷台開案風暴，最終並在兆豐金董監改選一事中，因為未對鄭深池堅持以民股身分續任董事長一事，和蘇貞昌態度一致，使得財長寶座只做了五個月，就被迫離開。
卸任財政部長之後，呂桔誠以政務委員的身分參與經續會。經續會中的分組會議上，呂桔誠總是眉頭深鎖，低頭翻閱文件，鮮少與人交談，會議休息時間，偶爾有媒體主動上前攀談，呂桔誠多聊了幾分鐘，也會引起府院高層官員的「關切」，讓五年來在扁政府被諷為「做官像坐直升機」的呂桔誠，也忍不住向身邊友人透露，「當財政部長五個月，是我人生最黑暗的時期。」
信仰虔誠的呂桔誠，向來律己甚嚴，「在台銀董事長任內，一年有近兩百萬元的特支費，呂董一毛也沒花，年底交代會計全數繳庫，」台銀的資深員工透露，呂桔誠每天早出晚歸，做事講求效率，凡事直接交代，常常早上九點銀行開門前，就先召集各部室主管交辦事情，下午便打電話要對方回報處理進度，「整個台灣銀行就像是被逼著拴緊螺絲」。因此，九月上旬呂將重回台銀的訊息傳出後，也有台銀員工開始擔心，「呂桔誠若真要回來，我們的日子又要難過了。」
呂桔誠的專業、敬業無可挑剔，惟獨對「政治太天真」。「呂桔誠真的沒什麼不好，但就壞在他是阿扁的人，」一位金融圈的人士觀察，呂桔誠待人處世相當謹慎，也沒有聽過他曾得罪過誰，但是「扁迷」標籤，讓他的一舉一動都被外界用放大鏡檢視。尤其他以台開案關係人出庭應訊時，在SNG前上演快閃，慘遭媒體修理，事後還被蘇揆臭罵，「你幹麼跑，為什麼不把話講清楚？」這些難堪的經驗，都讓他頗為受傷。
因此儘管蘇揆念在「舊情」，想把他留在身邊，三度請辭的呂桔誠還是堅決要淡出政治叢林，重回民間。
至於下一步要何去何從？呂桔誠不否認，從財長卸任後，有不少外商、外資機構的邀約，「但是一位中華民國的卸任財長，怎麼能去幫外國人賺錢？」呂桔誠的「愛台情結」讓他婉拒了不少高薪的職位，一場風波換來「中場休息」，脫離風暴的呂桔誠也不再閃躲媒體，而是主動發出求職訊號，「我還是樂意為台灣財經發展打拚，歡迎大家來找我。」
