1920年4月，维经斯基等人来到中国，秘密考察在中国建立共产国际东亚书记处的可能性。在北大的两个俄籍教授引荐下，维经斯基结识了李大钊，又通过李大钊认识了身在上海的陈独秀。后来在维经斯基的帮助下，陈独秀等人建立了国内第一个共产主义小组。随后北京、长沙、武汉、济南、广州、日本、法国先后也建立了共产主义小组。当时，这些共产主义小组的名称没有统一，有的叫“共产主义小组”，有的叫“共产党小组”，有的叫“共产党支部”，有的直接叫“共产党”。

在众多的共产党小组中，上海小组因成立最早，又是陈独秀负责，因此起到了临时中央的作用。后由于没有正式的中央机构和固定的经费来源，陈独秀和李大钊又都不在上海，上海组的工作几乎处于停滞状态，大家都认为很有必要召开一次全国代表大会。就在这个时候，共产国际代表马林的到来，为党的一大召开提供了助力。

中国共产党第一次全国代表大会于1921年7月23日至30日在上海市望志路106号秘密召开。由于中国共产党是以推翻当时中国社会制度建立社会主义制度为宗旨的，无论是腐朽反动的当局还是法租界各个帝国主义国家的势力对此都是绝对仇视和严禁的，所以会议就必须在极端秘密的状态下举行。当时李汉俊的哥哥李书城的房子正好空着，于是中共一大的会址就定在了李书城家里。各地的7个共产主义小组派出了12名代表出席，他们代表了全国的53名共产党员，这些代表是：上海代表李达，李汉俊；北京代表张国焘，刘静；武汉代表董必武，陈潭秋；广州代表陈公博；长沙代表毛泽东，何叔衡；济南代表王尽美，邓恩铭；旅日代表周佛海，此外包惠僧受陈独秀派遣也参加了会议。共产国际代表马林和尼柯尔斯基列席了会议。这些代表中晚清秀才出身的何叔衡年龄最大48岁，来自北京的代表刘仁静年龄最小只有19岁，他们的平均年龄只有28岁，这正巧是毛泽东当时的年龄。陈独秀和李大钊有事未参加会议。

一大会议持续了数天，党纲和决议的草稿上画满了蜘蛛网般的修改记号，接近定稿之际，一个中年男子闯了进来，李汉俊起身问道：“你找谁？”“对不起，找错了。”那人边说边打量了屋里的两个外国人，这个闯入一大会场的不速之客叫程子卿，是法租界巡捕房的侦探。程子卿走后，会议的代表们相当警觉，马上转移了所有人员和重要文件，李公馆里只留下陈公博和李汉俊。不出所料，十几分钟后，望志路突然响起尖厉的警笛声，十多名全副武装的法国警察带着几名中国密探，闯入了李公馆，法国巡捕房的警察开始在李公馆里翻箱倒柜，东西被扔得到处都是，屋里几乎都翻遍了，结果却一无所获。经过此事，代表们一致认为会议不能再在上海进行了，就在大家为会议地点举棋不定的时候，李达的夫人王会悟提议到离上海不远的嘉兴去开会，于是，代表们乘火车前往嘉兴。为了掩人耳目，代表们在车上互相装作不认识，各自坐在不同的地方，到达嘉兴车站后，代表们登上王会悟事先租好的南湖画舫。安全起见，王会悟还特意把麻将牌倒在桌上。就在嘉兴南湖的这艘画舫里代表们接着上次的话题继续讨论，这次会议议程有：审议中国共产党纲领草案；审议中国共产党宣言草案；选举中国共产党全国领导机构。会议经过认真，热烈的讨论，在南湖游船上通过了《中国共产党的第一个纲领》和《中国共产党的第一个决议》，选举了党的中央局领导机构。选举陈独秀任中央局书记，李达任宣传主任，张国焘任组织主任。至此，中国共产党第一次全国代表大会在南湖游船上胜利闭幕，时间定格在这一刻——中国共产党诞生了。