1922年5月，张太雷在广州主持召开中国社会主义青年团第一次全国代表大会，通过中国社会主义青年团第一个团纲和团章。

1927年4月，五大在武昌召开。张太雷当选为中央委员。这时恰恰是大革命失败、陈独秀离职的紧要关头，他与周恩来等5人组成的中央常务委员会领导全党，共渡难关。

1927年11月底，张太雷打扮的像个洋行职员，登上停泊在广州沙面河上的一艘邮船，向广州各工会的负责人讲话：“同志们，告诉大家一个好消息，中央决定，在广州举行一次工农兵大暴动。”

 广州起义是继南昌起义、秋收起义后的又一次起义。张太雷是起义总指挥。经他部署，一支三千多人的工人赤卫队组建起来，按行业成立7个联队，2个敢死队，消息局和汽车队，联队下设大队、中队、小队，由周文雍指挥。起义需有军队作骨干力量。张太雷在广东省委工作时，争取部队是粤系张发奎的军官教导团、警卫团和黄埔军校特务营。这几支队伍里有一批共产党员，多数担任班、排、连长。

11月底，他在联络站召集教导团、警卫团、特务营的党员、骨干会议，说：现在桂系军阀在梧州集结，准备攻打广州。粤系将领张发奎把兵力开赴肇庆、梧州迎击，广州市内敌军兵力薄弱，正是举行起义的好时机，党中央同意拟在12月12日举行起义。

不料消息走漏，张发奎下令全城戒严，准备收缴教导团的军械。张太雷决定起义时间提前到12月11日凌晨。凌晨2时，张太雷、恽代英、叶挺等到教导团驻地，说明起义目标是解除反动派在广州的武装，建立工农兵民主政府。总指挥叶挺下达各营、连战斗任务，官兵把军帽上的青天白日帽徽摘下，系红领带。3时半，三声炮响，信号枪响，广州起义开始了。经3个半小时，义军攻下公安局、省政府、财政厅、沙河炮兵团、广九车站、观音山等据点，只剩第4军司令部、军械处、12师师部在争夺中。义军控制了大部分市区。

12日11时左右，各界人民群众上万人参加“广东工农兵拥护苏维埃政府大会”，周文雍宣布开会，恽代英宣布广州工农兵民主政府领导人名单，张太雷宣布“1927年12月11日上午6时，广州苏维埃政府成立了！”大会开得红火，张太雷接到报告，珠江南岸一股敌军过江进攻大北门。另一路敌军攻占观音山。情况危急，他马上疏散群众，去大北门察看敌情。同共产国际代表德国人纽曼及警卫、司机乘敞篷车向那里驶去。行至惠爱西路，突然出现一群穿便衣的，一声呼啸，散到路边射击。后座上张太雷和前座的卫士拔枪，对方先打响。张太雷中弹，倒在车内牺牲，卫士和司机当场身亡。纽曼在后座，枪声过后便跳车飞跑脱险。事后，他报告了张太雷遇难的过程。

瞿秋白在《悼张太雷同志》一文说：“张太雷同志死在几万暴动的广州工农兵群众与反革命军阀搏战之中，死在领导工农兵暴动的时候，他死时，觉着对于中国工农民众的努力和负责;他死时，还是希望自己的鲜血，将要是中国苏维埃革命胜利之渊泉。”

张太雷为党史中第一个牺牲在第一线的政治局成员。1933 年8月，中华苏维埃共和国临时中央政府决议在江西石城、瑞金、福建宁化三县边界设立太雷县，为中央政府的直属县。