国民党改组工作从1923年10月中旬开始筹备。10月19日孙中山正式委派廖仲恺、汪精卫、张继、戴季陶、李大钊五人为国民党改组委员。10月25日，在广州召开了一百余人参加的改组特别会议。这次会议对国民党的改组具有非常重要的意义。会上讨论了改组计划和改组纲要，大体把新的国民党组织体系和轮廓描绘了出来。孙科在会上说明，改组纲要主要译自俄共模式。鲍罗廷在会上发表了一长篇报告，对改组的重要意义作了解释和说明，并对改组如何进行提出了建议。此后改组工作大体按照他的建议进行。是日，孙中山任命胡汉民、林森、廖仲恺、邓泽如、杨庶堪、陈树人、孙科、吴铁城、谭平山为国民党临时中央执行委员，汪精卫、李大钊、谢英伯、古应芬、许崇清为候补执行委员，组织临时中央执行委员会，全面负责改组的筹备工作。
临时中央执行委员会自1923年10月28日成立，至1924年1月19日结束，前后开会28次，议决要案400余件。主要工作是筹备全国代表大会，并在广州、上海两地进行“试点改组”，从党员登记入手，继而成立区分部、区党部，自下而上，实行“民主集中制”。到1924年1月国民党一大召开前夕，广州市共成立9个区党部、66个区分部，党员8200余人；上海市共成立1个区党部、33个区分部，有党员1500余人。据鲍罗廷当时的报告，广州的共产党员为国民党的“试点改组”做了大量工作。上海方面，中共成立了一个帮助国民党改组的常设委员会，委员会由10人组成，其中包括党、团中央及其地方组织的代表。