1953年的一个夏夜，著名建筑师梁思成和妻子林徽因一起，去参加文化部官员郑振铎在北京组织晚宴，宴席中还有不少考古、建筑界知名人士，他们要谈谈文物保护的问题。
那晚，素有优雅美的林徽因却动怒了。
同济大学教授陈从周在《林徽因集》的序中提到：“席间 ，郑振铎说，推土机一动，祖宗的文化遗物，就此寿终正寝。林徽因则冲动地指着时任北京市副市长的吴晗的鼻子大声谴责，“你们真把古董给拆了，将来要后悔的！即使再把它恢复起来，充其量也只是假古董！”
陈从周回忆，49岁的林徽因当时肺病已很严重，喉音失嗓，“然而在她的神情与气氛中，真是句句是深情。”
其实，这只是林徽因与吴晗之间，一次面对面的激烈冲突。此前，她的丈夫梁思成因提倡保护北京古城已与北京市政府官方发生多次冲突。
新华社记者王军撰写的《城记》中，披露了围绕“拆牌楼”的争论和动因：1952年5月，北京市开始酝酿拆除牌楼。公安局交管理处认为，大街上的牌楼影响了交通，是导致交通事故的主要原因。这一年，文津街北京图书馆门前发生了一起严重车祸，更是让 “拆牌楼”很快地列入了议程。
1953年7月4日，北京同意拆除交民巷的两座牌楼。关于帝王庙牌楼，文物部门的意见是最好能够保留，或易地重建。8月20日，吴晗主持会议，讨论北京文物建筑保护问题。
郑振铎说：“如有要拆除的牌楼，最好事先和社会文化事业管理局联系，由中央决定，不应采取粗暴的态度。” 但吴晗绵里藏针：“全国性的问题请示中央决定。”
言下之意，只要不是“全国性的问题”，就不需要“请示中央决定”呢?
但林徽因的态度很鲜明，坚决反对拆文物，“保护文物和新建筑是统一的。北京的九个城门是对称的，如一旦破坏，便不是本来的基础了。”梁思成也认为，城门和牌楼、牌坊构成了北京城古老的街道的独特景观，这类似于西方都市街道中雕塑、凯旋门和方尖碑等，可以用建设交通环岛等方式合理规划，加以保留。
林徽因、梁思成与吴晗们的争论在持续升级。据当时在国务院的工作人员回忆，梁思成数次在会上被气哭。最后，还是毛泽东的一句话给争论定了性：“北京拆牌楼，城门打洞也哭鼻子。这是政治问题。”
而吴晗虽为负责拆迁的副市长，但同时他也是研究明史的历史学家，他对文物的价值，难道不了解吗？绝对不是。50多年后，中国古建筑学家罗哲文在接受媒体采访时表示，“他只是很多事不由做主，需要中央来定。机器轰鸣，烟囱林立，才是当时新型城市的蓝图。” 也就是，当时的北京正急于建成一个新型城市，一切阻碍新型城市的障碍都要拆除。
