一九四九年秋，开国大典的礼炮声中，北京城里一片欢跃，清查特务的义务也在紧张地中止土刀唐胡同里，刚刚接纳了旧警察局的年轻派出所所长肖鼎力正忙着维持群众游行的次第，偶遇一个熟知兵器的教书匠冯静波，这惹起了他的怀疑为了查清冯静波的身份，肖鼎力搬进了土刀胡同十五号院，与冯静波做了邻居。冯的真实身份确实是国民党的潜伏特务，代号"5182"。恶霸四阎王为他发了委任状，接受"白眼镜"的命令。深夜，"白眼镜"前来交待义务，冯的特务生涯从此拉开了序幕。"白眼镜"为冯送电台时被肖鼎力等人击成重伤，临死前只说出5182几个字。肖鼎力以为冯有严重嫌疑，让他留意四阎王的行迹，借此对冯拐弯抹角。曾在妓院做使唤丫头的大眉子参与了夜校扫盲班，她倾慕冯教员的才气，常自动为他做家务。冯为了掩护自己的身份，请鼎力保媒娶大眉子为妻。鼎力找大眉子谈心，拐弯抹角说冯是特务，可大眉子自觉出身下贱，婚事全凭鼎力做主。肖鼎力偶然听到从冯家传出用作联络暗号的乐曲，便也买了一台短波收音机，煞费苦心肠中止研讨，吃饭睡觉都不忘揣摩那首名为《展览会上的图画》的曲子，在大家眼里他似乎是着了魔。冯从鼎力的妻子刘亚琴那里听说此事，不由暗暗心惊，深知自己处境困难，只得若无其事地应付这一切。他假称挖出一夜壶金子，将活动经费充了公，被评为抗美援朝积极分子。才疏学浅的冯静波邂逅了校长的女儿徐小妤，两人一见如故。小妤敬慕冯的才气，冯也倾心于美丽又有知识的小妤。二人荡舟湖上，面对小妤炽热的目光，冯在欢乐之余也深感痛苦，心境沉痛地说自己是负罪之人，预备自首，但在鼎力面前却欲言又止。早晨，冯突然不见了踪迹，鼎力紧张地以为他是畏罪逃窜。敏感的亚琴直奔小妤的宿舍，正好撞见这对偷情的恋人。东窗事发，冯家乱成一团。大眉子不依不饶，要跟那个破坏她家庭的女人"撞头"。冯终于鼓起勇气提出和她离婚，不料遭到鼎力等人的指摘与阻遏。校长更以开除作要挟，不许他离婚。气愤的鼎力把冯反锁在厕所里，让他好好反省历史效果。静波与小妤迫于压力，只得黯然分手。冯静波在学校从未有过激言行，是集团人称赞的好教员，鼎力挑不出他的缺陷，何乐不为。街道组织大家学习宪法，请冯为众人解说。冯对统一反革命的条文心缺乏悸。特务身份的重压使冯隐忍地生活着，这竟使他在历次运动中躲过了灾难，并且由于他为人和蔼，处处助人，竟被评为区劳模。而坚信冯是特务的肖鼎力却被诬以"特务"的罪名送进了劳改农场，亚琴自杀身亡。大眉子不测地发现冯的委任状，偷偷地烧掉了。四十年过去了，肖鼎力重又穿上了警服，他照旧执迷不悔地监视着冯的一举一动。此时的冯已由一位好教员变成好校长，他确实感到坦荡做人的快感，同时也更感到自己心底那块石头的繁重。肖鼎力的儿子新桅和冯静波的女儿抗美两小无猜，却因父辈的恩怨无法走到一同。昔日给冯发委任状的四阎王已成了海外协作项目的投资者，这令冯惊讶不解。肖鼎力的铮铮铁骨令冯自惭形秽，也正是肖鼎力的所作所为，让冯了解了共产党。冯终于幡然悔悟，给鼎力写了自首信，请他宽恕"昨天的冤家"，并在女儿的扶持下走进了公安部的大门。
