与洛阳城建大工程差不多同时动工的，还有更大的南北大运河工程。
其实，这不是隋朝首次修建运河。
隋文帝杨坚曾经两次下令开挖大运河：
第一次是公元584年，杨坚接受首宰高颎建议，为了便于将粮食由洛阳运到长安城，命令宇文恺负责开挖了广通渠。
广通渠自长安至潼关，长300里。它位于渭水南面，沿着南山山脚，东向延伸，使渭河直接注入黄河，并成为可以通行船只的航道。
在此之前，渭水虽然注入黄河，但时深时浅、七弯八拐，船只不能由长安一路直入黄河。
广通渠建成后，大大减轻了关中缺粮的压力。
第二次是公元587年，吴州总管贺若弼向杨坚献上“取陈十策”，其中一策就是拓宽、挖深、加长古运河邗沟，以此运输储存物资、训练楼船兵，打造伐陈主力水师。
隋文帝欣然接受贺若弼建议，诏令：尚书右丞皇甫议代表朝廷，配合贺若弼疏浚、拓长古邗沟运河，取名山阳渎。
山阳渎北起淮安，南至扬州，全长350里，连接淮河与长江。
后来，贺若弼正是利用山阳渎运输物资，训练出一支强大水师，成为覆灭南陈国的主力功臣。
……
现在开挖的南北大运河分两部分：
一部分由洛阳往北，直至涿郡（北京），叫做永济渠。
永济渠连通黄河与海河，全长1900里。
另一部分由洛阳往南，直到余杭，分三段：
北段通济渠，洛阳西苑至盱眙，连通黄河与淮河，全长1300里。
通济渠也是古运河，它是战国初期魏国开挖的。
只不过，现在的通济渠被淤泥堵塞、水位很浅，一年之中大部分时间不能通航。
杨素调派100万民夫，重新整治这段古运河。
中段就是山阳渎，基础是古邗沟。
古邗沟是春秋末期的吴王夫差下令开挖的。
山阳渎于587年经贺若弼重挖后，吴州总管府一直派人精心维护航道。这段河道的工程量较小。