12月12日晚，唐生智召开师以上将领会议，布置撤退行动。唐生智首先简要说明当前战况，询问大家是否还能继续坚守？众将领沉默无语。
唐生智遂即出示蒋介石命的电令：“电文说‘如情况不能持久时，可相机撤退，以图整理而期反攻。’据此，我和罗卓英、刘兴两副司令长官及周参谋长研究，决定于12日夜开始撤退。下面，由周参谋长分发撤退命令和突围计划。”
周斓把撤退命令和方案分发给各将领后，强调说：“首都卫戍部队决于本日（12日）晚，冲破当面之敌，向浙、皖边区转进。各部队行动时间、经过区域及集结地区，如方案规定。各部队官兵应携带四天炒米及食盐。”
唐生智最后宣布：“撤退的原则是：大部队从正面突围，由第66军和83军掩护；第87师、第88师、第36师和教导总队，随司令部由下关渡江，由第36师掩护。会后立即行动。”
城内各部队多沿中山路向下关撤退，而挹江门左右两门洞已经堵塞，仅中间一门可以通行，各部争先抢过，互不相让，不少人因挤倒而被踩死。如教导总队第1旅第2团团长谢承瑞，在光华门阵地曾英勇地击退日军多次冲击，却被拥挤人群踩死在挹江门门洞里。
下关更为混乱。各部队争先抢渡，有的船因超载而沉没；大部官兵无船可乘，用门板制造木筏渡江。
12日晚，卫戍司令长官唐生智、副司令长官罗卓英、刘兴及长官部官兵，从下关煤炭港乘预备的小火轮渡江至浦口，得到日军已至江浦附近、正向浦口包围的情报，遂徒步向扬州顾祝同第三战区司令部靠拢；13日7时到扬州时，顾祝同及战区司令部已移驻临淮关，临行时留下六辆卡车。唐生智等主要官员及卫队乘汽车至滁州转火车，于当夜到达临淮关。
随后，第78军和第36师也由此渡江至乌衣集结，后乘车去蚌埠转信阳至萍乡整顿。
12日晚，叶肇及邓龙光两军长商定：第66军和第83军不执行掩护任务，两军由叶肇统一指挥从正面突围，向指定地点转进。当即命令各师“按第160师、159师、156师、154师之顺序，由太平门突围，经汤山、句容向安徽宁国集中。”
12日20时前后，除第156师因未接到命令外，其他三师先后通过太平门。途径岔路口、仙鹤门、东流等地时，均遭日军阻击，第159师代师长罗策群率部冲击时阵亡。拂晓前到达汤山附近时，又遭日军第16师团主力猛烈攻击。部队被打散，各自为战，分头向指定地点转进。叶肇、邓龙光与部队失散后，换便衣突过日军包围圈。
20日前后，各师大部分别到达南陵、歙县。第66军参谋处长郭永镳在九龙山一带收容失散官兵1,300余人，临时编为三个营，尔后归队。未接到命令的第156师与教导总队一同撤至下关，部分官兵渡过长江辗转归队。第74军组织较好，又掌握有一艘小火轮，约有五千人渡过江北。其余部队连夜抢渡，直至天亮不停。
13日拂晓，日军舰艇冲破封锁线到达下关江面；第16师团一部乘舟艇进至八卦洲附近江面。日军炮火向江岸中**队猛烈轰击；飞机来回扫射。中**队数千名官兵随船只沉入江中，宪兵副司令萧岭即死于半渡中。江面人头攒动；江水被鲜血染红；到处飘着死者尸体。日军炮火继续轰击江岸，没能渡江的中**队官兵成批地倒下。日军大部队陆续赶到江岸，彻底切断中**队退路，大批没能过江的中国官兵成为战俘。
13日上午，日军各部队分别由中山门、光华门、中华门、水西门等处进入南京城内。山田支队占领了南京最后一个支撑点幕府山；天谷支队渡过长江占领扬州，切断了大运河；第6师团一部进至下关；国崎支队占领浦口，切断了南京守军一切退路。聚集于燕子矶、下关沿江一带及八卦洲、江心洲中，未撤至江北的大批中国官兵成为战俘。已渡至江北的中**队沿津浦路向徐州方向撤退。
12月14日，根据最高统帅部指示，唐生智在临淮关宣布南京卫戍司令长官部撤销，撤至江北的卫戍军部队隶属第三战区。至此历时十天的南京保卫战结束。