显德五年（958年）三月，后周征南唐的战争终告结束，获得了江北十四州的领土，柴荣的注意力又转移到北方问题上。事实上，无论是江淮大国南唐，还是割据河东的北汉政权，或多或少都与北朝大国契丹辽朝有关系。北汉自不待言，局促于河东，原本对契丹的依赖就很大，高平之战中就有契丹大军从参与。
南唐虽然距辽国遥远，但是从其先主李昪开始，就试图秘密结盟契丹，实现夹攻中原政权的目的。后周南侵南唐之时，在显德三年二月，战争初期，南唐元宗李璟就曾派人携蜡丸书求救于契丹，不过途中被后周军队截获。是年十二月，南唐又派出兵部郎中陈处尧持重币浮海至契丹乞师。
显德四年（957年）中，当南北战争最为激烈之时，南唐又派出使臣远赴辽国，且其中一次为“奉蜡丸书”。虽然南唐求盟契丹的努力没有什么明显成效，但是对于后周而言，契丹问题是必须要面对的，柴荣又是一个有意恢复汉唐大一统的“雄主”，故而对辽战争难以避免。
后周显德五年二月，建雄节度使杨廷璋败北汉兵于隰州城下，“斩首千余级”。是年四月，辽国南京留守萧思温出兵攻陷边境一些后周的州县。契丹人的军事行动看似是对后周击北汉的一种报复，但是从《辽史·萧思温传》的记载看，似乎又不是那么简单，“初，周人攻扬州，上遣思温蹑其后，惮暑不敢进，拔缘边数城而还”。可见，在后周攻南唐的时候，契丹并非毫无作为，乘虚南进的可能性很大，只不过因为主帅萧思温的迟疑而未能成功。
在结束南方战事之后，柴荣返回大梁，得知契丹袭边的情报之后，立即命澶州节度使张永德赴北边，以备契丹。随后，后周军队在多个地区对契丹及北汉展开了报复性军事行动，五月，成德节度使郭崇攻陷契丹束城；六月，“昭义节度使李筠奏击北汉石会关，拔其六寨”，“晋州奏都监李谦溥击北汉，破孝义”；是年闰七月，后周邢州留后陈思让又大破北汉军于西山之下，“斩首五百级”。
后周凌厉的攻势令契丹人感到紧张，辽国的南京留守萧思温镇守的幽燕地区可能就是后周军队下一步进攻的目标。萧思温向辽穆宗请求增兵，加强防御。但是，辽穆宗的回复却是：“敌来，则与统军司并兵拒之；敌去，则务农作，勿劳士马。”
辽穆宗在历史上曾被评价为“畋猎好饮酒，不恤国事”的“睡王”，他对后周的进攻似乎没有应有的反应。但是，这种评价并非事实，辽穆宗的态度只是说明了契丹人对于后周军事实力很有忌惮，一切应对非常谨慎。
显德六年（959年），柴荣发动了对辽国的全面进攻，准备收复赵德钧、石敬瑭时代被契丹人占据的幽燕地区。在大军出击之前，柴荣预先做了两个部署：命义武节度使孙行友扼守定州西山路，防止北汉救援契丹；又令侍卫亲军都虞侯韩通等将领率军先行出发自沧州治水道入契丹境，以为先锋。
是年三月，柴荣亲率大军从汴京出发。十七天后抵达沧州，但未作停留，立即就亲率步骑数万从沧州启程，直趋契丹之境。柴荣的战略可谓兵行险招，从沧州绕行直入契丹控制区域，企图出奇制胜，“河北州县非车驾所过，民间皆不之知”，这也确实是柴荣一贯的作战风格。
柴荣离开沧州之后，第二日即抵达乾宁军（河北省青县），辽国宁州刺史不战而降。柴荣在乾宁军训练水师，准备水陆分兵继续北上，以侍卫亲军马步军副都指挥使韩通为陆路都部署，忠武军节度使赵匡胤为水路都部署。两日后，柴荣本人也乘龙舟由水路北上。
又过了两日，后周水军抵达独流口（今天津静海独流镇），“舳舻相连数十里，在此处“溯流而西”，顺滹沱河西行，再两日后抵达益津关（今河北霸州），契丹守将终廷晖举城投降。自益津关以西，水路渐隘，水军无法继续前进，柴荣舍舟登陆，在赵匡胤的护卫下继续进军。很快，后周军队抵达瓦桥关（位于河北雄州西南），契丹守将姚内斌不做抵抗而投降。在这之后的两天内，契丹莫州刺史刘楚信、瀛洲刺史高彦晖又先后举城归降。至此，后周几乎兵不血刃收复了瓦桥关以南所谓的关南之地，“共得州三、县十七、户一万八千三百六十”。
柴荣进军为何会如此顺利呢？主要原因在于契丹军队并不善于守城，而且关南没有部署重兵，在后周大军来袭的情况下根本不可能做有效抵抗。辽国南京留守萧思温是以外戚身份上位的庸才，后周占领关南之后，萧氏“不知计所出”，畏战不出，龟缩于幽州。
柴荣北伐虽然宣称要一举收复幽燕地区，但是轻取关南似乎已经超出了预期。柴荣的胜利在当时后周史官眼中竟然只是“以王者之师， 驰千里而袭人，轻万乘之重于萑苇之间，以侥幸一胜”，足见契丹并非不堪一击。
雄心满满的柴荣在收复关南之后，立即召开军事会议，讨论是否继续北上直取幽燕。皇帝雄心勃勃，但是手下将帅却并不乐观，他们多数人都认为“陛下离京四十二日，兵不血刃，取燕南之地，此不世之功也。今虏骑皆聚幽州之北，未宜深入”。
尽管反对声音很大，但是皇帝已然坚持己见。柴荣很快就下达了继续进攻的命令，命先锋都指挥使刘重进先发，进占涿州固安县。但是，一件意外改变了历史的走向。正当柴荣准备乘胜进取幽燕的时候，却在瓦桥关突发急病，军事行动不得不暂停下来。在此之后，除了定州节度使孙行友攻克辽易州外，后周再无较大军事动作。
辽国方面并非毫无应对，在得知瀛洲、莫州沦陷时候，辽穆宗亲临幽州，坐镇指挥，并遣使赴太原向北汉求援。正是因为辽国在幽州一带集结兵力，才有了柴荣麾下众将所言的“虏骑皆聚幽州之北”的判断。后周方面也及时收缩，不再继续北伐，而是以巩固已有战果为主，以瓦桥关为雄州，以义成节度留后陈思让为雄州都部署；以益津关为霸州，以侍卫马步都指挥使韩令坤为霸州都部署，并发滨、棣二州丁夫重修霸州城池。从远期战略看，后周并未放弃北伐幽燕的目标，雄州、霸州就是后周继续北进的桥头堡。
显德六年（959年）六月，病中的柴荣从雄州出发，南归大梁。令所有人意外的是，六月十九日，柴荣就突然崩逝，终年三十九岁，庙号世宗。很多史书都为周世宗的英年早逝和壮志未酬为扼腕痛惜，但是当时的契丹实力强大，辽穆宗亲临幽燕，如果交战真是胜负难料。另外一方面，周世宗在北伐之前派军阻断了北汉救援幽燕地区的交通孔道，如果战争持续深入，能否一直将北汉隔绝于战争之外还是一个疑问。倘若北汉加入战争，后周在河北战场就难以占据优势地位了。
历史无法假设，周世宗未能北伐幽燕或许是个遗憾，但未尝又不是一种幸运，一次避开失败甚至亡国的幸运。