胡琏突出重围后，遇到了第十八军未被包围的骑兵，先逃到蚌埠，后去了南京，开始了与黄维完全不同的人生。黄维在南平集附近的周庄被俘。
中原野战军联络部长杨松青动员十二兵团的高级将领给被围在陈官庄的杜聿明、邱清泉写劝降信。八十五军的参谋长陈振威写好了信，请各人签名，只有黄维不签。
一个年轻的新闻记者采访黄维：“你为什么不早些投降。”
黄维把桌子一拍，大吼起来：“有战死的烈士，没有苟活的将军，我为什么投降。为了国家民族利益，我要战斗到一兵一卒……”
黄维和杜聿明、宋希濂等人一起被关在位于北京德胜门外功德林路一号的功德林战犯管理所。初到功德林时，黄维抱定“不成功便成仁”的决心，“君子不事二主”。“管教人员”曾撰写回忆文章说：他认为自己所以成为阶下囚，就是因为打了败仗，“抗战胜利时共产党也尊称蒋先生是人民领袖，失败了就骂他是独裁者”。“大家说抗战结束后蒋军抢夺胜利果实占领根据地时，他说国军是当时合法政府治下的正规军队，只要在中国的领土内，去哪里都是合法的，阻挠军队进驻就是叛乱”。而且，对其他认罪悔过的战犯，还大肆讥讽挖苦。他对监狱睡觉不许关灯的规定也非常不满，大骂没有人性。当时功德林战犯管理所里既有国民党战犯也有日本战犯，日本战犯享受不用劳动优待。黄维就大骂：“我们再有罪也没日本人罪大，凭什么日本人可以待着，我们就要劳动。”
对于父亲的这些言论，黄慧南说，“以前没有问过，不知道父亲是不是这样说过，但是父亲是个不服输的性格。”
有同期战犯回忆说，在战犯管理所，黄维走路始终挺着腰杆，将军风范丝毫不失。他还留起了胡子，自称“在国民党时期留的胡子不能在共产党的监狱里剃掉”。在随身的本子上写下了于谦的《石灰吟》和文天祥的《正气歌》自勉。
当时监狱规定每个战犯要读一些指定的学习书，并结合自己的罪行谈读书体会，杜聿明读了《论持久战》，写下万余字的读书笔记，并且要求把自己的读后感寄给蒋介石，而黄维却拒绝写任何悔过书，他说自己“无罪可悔”，唯一惭愧的是十几万大军在自己的领导下溃败，所以黄维在战犯和管理人员眼里是“拒绝改造”的典型。
1952年的一次学习中，学习组长董益三宣读材料说：“四大家族控制了中国所有的银行，将全国人民的财产盘剥到自己手里时”，黄维回应说：现在全国只有一家中国人民银行，又受到共产党毛泽东的领导。是不是可以说现在全国人民的财产都到毛泽东一家的手里了。为此，战犯们群情激奋，黄维又口不饶人，董益三等便动手打了他，黄维也不肯示弱，结果双方打成一团。“后来，董益三和父亲都在政协工作，他们有时候会坐同一辆车回来，父亲从来也没有跟我提过这件事，父亲也不会把这件事放在心上的。”
44岁的黄维在功德林战犯管理所“斗争”的时候，他并不知道家人在外面急切地等待着他的消息。
在这期间，蔡若曙带着四个孩子离开住了两年的台湾，在香港住了一年后，回到大陆定居上海。“在工作之前，我妈因为字写得很漂亮，经常去街道、居委会帮忙出黑板报，做些抄写登记工作。几个月之后，妈妈通过自己的努力考上了一份上海图书馆的工作，虽然是特殊的身份但还是通过了政审。”黄慧南相信，母亲执意悄悄会大陆那次，应该就和大陆这边建立了某种联系，并获得大陆方面的承诺，于是她便铁了心要等父亲回来。
