孔子得不到衛國的重用，打算西遊去見晉國的趙簡子。到了黃河邊，聽到竇鳴犢、舜華被殺的消息, 就面對黃河感慨："壯美啊 黃河水，浩浩蕩蕩多麼盛大，我所以不能渡過黃河，也是命運的安排吧！" 子貢問是什麼意思。
孔子說："竇鳴犢、舜華兩個人，都是晉國有才德的大夫。 當趙簡子還沒有得志的時候，是依靠這兩個人才得以從政的；等到他得志了，卻殺了他們來執掌政權。我聽說過，一個地方剖腹取胎殺害幼獸，麒麟就不到它的郊 野，排干了池塘水抓魚，那麼龍就不調合陰陽來興雨了，傾覆鳥巢毀壞鳥卵，鳳凰就不願來這裡飛翔。這是為什麼呢？君子忌諱傷害他的同類。那些鳥獸對於不義的 行為尚且知道避開，何況是我孔丘呢！"於是便回到老家休息，創作了琴曲《陬zou1操》來哀掉竇鳴犢、舜華兩位賢人。隨後又回到衛國。不久又去了陳國。
這一年夏天，魯桓公、厘公的廟堂著火了。孔子在陳國聽到了這個消息，就說："火災一定在桓公、厘公的廟堂吧？"不久證實，果然如他所言。
這年秋天，魯國重臣季桓子病重乘著輦車望見魯城，長嘆一聲說："從前這個國家幾乎興旺了，因為我得罪了孔子，所以沒有興旺起來。"回頭又對他的嗣子季 康子說："我要是死了，你一定會接掌魯國的政權佐國君；你佐國君之後，一定要召回孔子。"過了幾天，季桓子死了，季康子繼承了他的職位。喪事辦完之後，想召回孔子。大夫公之魚說："從前我們的魯定公曾經任用過他，沒能有始有終，最後被諸侯恥笑。現在你再任用他，如果也不能善終，這會再次招來諸侯的恥笑。" 季康子就派人召回了孔子的徒弟冉求。
冉求離去之後，第二年，孔子從陳國移居蔡國。次年，孔子又從蔡國前往葉地。葉公問孔子為政的道理，孔子說："為政的道理在於招納遠方的賢能，使近處的人歸服"。
孔子遷居到蔡國三年，吳國攻打陳國。楚國救援陳國，軍隊駐紮在城父。聽說孔子住在陳國和蔡國的邊境上，楚國便派人去聘請孔子。孔子正要前往拜見接受聘禮，陳 國、蔡國的大夫商議說："孔子是位有才德的賢人，他所指責諷刺的都切中諸侯的弊病。如今的楚國，是個大國，卻來聘請孔子。如果孔子在楚國被重用，那麼我們陳蔡兩國掌權的大夫們就危險了。"於是他們雙方就派了些服勞役的人把孔子圍困在野外。
孔子和他的弟子無法行動，糧食也斷絕了。跟從的弟子餓病了，孔子卻還在不停的給大家講學，誦詩、歌唱和彈琴。子路很生氣, 問："君子也有困窘的時候嗎？"孔子說："君子在困窘面前能堅持節操不動搖，而小人遇到困窘就會不加節制，什麼過火的事情都做得出來。"
孔子知道弟子們心中不高興, 便叫來子路問道："《詩經》上說‘不是犀牛也不是老虎，然而它卻排徊在曠野上'，難道是我們學說有什麼不對嗎？我們為什麼會落到這種地步呢？"子路說："大概是我們的德還不夠吧？所以人家不信任我們；想必是我們的智謀還不夠吧？所以人家不放我們通行。"孔子說："有這樣的話嗎？仲由啊，假使有仁德的人必定能使人信任，哪裡還會有伯夷、叔齊餓死在首陽山呢？假使有智謀的人就能暢行無阻，哪裡會有王子比干被剖心呢？"
子路退出，子貢進來見孔子。孔子用同樣的話問子貢. 子貢說："老師的學說博大到極點了，所以天下沒有一個國家能容納老師。老師何不稍微降低一些您的要求呢？"孔子說："好的農夫雖然善於耕種，但他卻不一定有好的收穫；好的工匠雖然精巧的手藝，但他的所作卻未必能使人們都稱心如意。有修養的人能研修自己的學說，但不一定被世人所接受。現在你不去研修自己的學說，反而想降格來迎合。你的志向太不遠大了。"
子貢出去之後，顏回進來見孔子。孔子又同樣問他. 顏回說："老師的學說博大到極點了，所以天下沒有一個國家能容納老師。雖然是這樣，老師還是要推行自己的學說，不被天下接受又有什麼關係呢？一個人不研修自己的學說，那才是自己的恥辱。至於已下大力研修的學說不被人所用，那是當權者的恥辱了。不被天下接納又有什麼關係呢？不被接受，這樣才能顯出君子的本色！"
孔子聽了十分欣慰, 笑道："是這樣的啊！ 假使你有很多錢財，我願意給你做管家。"
於是孔子派子貢到楚國去, 楚昭王調動軍隊來迎接孔子，才消除了這場災禍。
楚國得到孔子後，楚昭王想把有戶籍登記的七百里地方封給孔子。楚國的令尹子西勸阻他, 擔心如果讓孔子擁有那七百城土地，再加上那些有才能的弟子輔佐, 他會在楚國稱王，於是楚昭王打消了原來的想法。這年秋天，楚昭王死在城父。孔子也從楚國返回了衛國。這一年，孔子六十三歲。
第二年（前484），冉有為季氏統率軍隊，在郎地同齊國作戰，打敗了齊國的軍隊。冉求告訴季康子自己的才能都是從孔子那裡學來的。
季康子問："孔子是怎樣的一個人呢？"冉有回答說："任用他要符合名分，他的學說不論是傳播到百姓中，還是對質於鬼神 前，都是沒有遺憾的。我對於軍事，雖然有功而累計封到二千五百戶人家，而孔子卻會毫不動心的。"康子說："我想召請他回來，可以嗎？"冉有說："你想召請他回來，只要不讓小人從中阻礙他，就可以了。"於是季康子派人帶著禮物迎接迎孔子，孔子就回魯國去了。孔子離開魯國一共十四年, 又回到了魯國。但是魯國最終還是不能重用孔子，孔子也不再要求出來做官了。
孔子的時代，周王衰微，禮崩樂壞，《詩》、《書》也殘缺不全了。孔子探究夏、商、西週三代的禮儀制度，編定了《書傳》 (《尚書》之傳。) 的篇次，上起唐堯、虞舜之時，下至秦穆公，依照事情的先後，加以整理編排。
孔子考察了殷代繼承夏代對禮儀制度所作的增減之後說："將來即使經過一百年，那增減的也是可以預知的，因為一種是重視文采，另一種是重視樸實。周代 的禮儀制度是在參照了夏代和殷代的基礎上制定的，多麼豐富多采呀，我主張用周代的禮儀." 所以《書傳》、《禮記》都是孔子編定的。
孔子從衛國返回魯國之後，就開始訂正詩樂，使《雅》、《頌》都恢復了原來的曲調。古代留傳下來的《詩》有三千多篇，孔子把重複的刪掉了，選取其中合於義的用於禮義教化。三百零五篇詩孔子都能將演奏歌唱，以求合於《韶》、《武》、《雅》、《頌》這些樂曲的音調。先王的樂制度從此才恢復舊觀而得以稱述，王道完備了，孔子也完成了被稱為"六藝"的《詩》、《書》、《禮》、《易》、《樂》和《春秋》的編修。
