廖仲愷被刺後，牽涉該案的胡漢民、許崇智等老右派被排擠出廣東。蔣介石認為，這時橫擋在他前進道路上的障礙就只有中國共產黨為代表的人民革命力量了。於是他就處心積慮地陰謀策劃，尋找機會要對革命開刀。
1926年 2月，蘇俄政治顧問鮑羅廷偕譚平山暫離廣州，去了北方。鮑的職務由另一名蘇聯顧問季山嘉代理。季山嘉對蔣介石的陰謀反共心理有所察覺，對蔣的獨裁擅權行為也很不滿，他竭力拉攏時任國民政府主席的汪精衛對蔣介石進行抑制，這就加深了蔣介石的疑忌。蔣介石和季山嘉的關係越來越不協調。在這種情況下，一些孫文主義學會分子和右派骨幹如王柏齡、伍朝樞、古應等乘機大肆散佈謠言，說蘇聯顧問和中共要「倒蔣」，廣州市面上出現了稱蔣介石為「新軍閥」的傳單，這無異是火上加油。本來，蔣介石早有反共的思想基礎，這時，他以為有了可以利用來發動政變的藉口。於是在1926年3月20日，他就製造了一起駭人聽聞的中山艦事件。這個事件是他嘗試著對革命發動進攻的第一次突然襲擊。
蔣介石為了發動對中國共產黨的打擊，除了玩弄陰謀，矇蔽群眾，騙取支持以外，事先還作了各種相應的準備。戴季陶的反共理論為他進行分裂排共作了思想輿論的準備；同時他自己則大抓了組織方面的準備。這主要是，他利用共產黨人和國民黨左派同西山會議派的鬥爭，竭力把自己裝扮成孫中山的忠實信徒，與西山會議派作鬥爭的英雄，大撈政治資本，並且經過國民黨第二次全國代表大會開始直接掌握國民黨的領導權。他更利用任黃埔軍校校長的職位，把軍校作為結黨營私之所。他利用軍校內同鄉、同學、師生等關係，把一些反動分子和右派學生安插在各個重要崗位上，特別是安插在武裝部隊中，以作為發動反革命政變時急需調用的力量。如他把親信王柏齡先是安插在黃埔軍校作教授部主任，後又調任第二十師師長；把劉峙安排為第一軍第二師師長；吳鐵城為廣州市公安局長；把他的把兄弟歐陽格安邐
