武林门是杭州早前的十座城门之一，是杭州北面的门户，和“武术”“江湖”也没有关系。相传当时门的南面，有一座虎林山(也有说是虎陵山)，因吴音讹为武林山。这座门最早叫“余杭门”，正因为有武林山，才改名为武林门，相沿至今 。

武林门，亦名“北关门”。因“北关”在杭州话里同“百官”发音相近，民间俗称为“百官门”。由于杭州旧称“虎林”的原因，它原本是被称为虎林门的。因为旧时城门外有山，据明代田汝成的《西湖游览志》记载：“土阜陂陀，高可三丈，广不满百步……弄虎出焉，故名虎林。吴音承讹，转虎为武耳”，故讹传为“武林”，最终这座城门名称变为武林门。

作为杭州的北城城门，武林门始建于隋朝。吴越国王钱鏐修建杭州城垣时名为“北关门”。南宋高宗建都杭州，将它称为“余杭门”，是作为北城的唯一旱门(另外还有“天宗”“余杭”两座水门以通舟楫)。其后，杭州城城门虽屡有兴废，但此城门始终未变，明代，改余杭门为武林门。辛亥革命后城门被拆除，故址在今武林路与环城北路相交处，也就是今天的万向公园。武林门地近京杭运河，一直是商贾云集之地。每当夕阳西下，“樯帆卸泊，百货登市”，入夜，“篝火烛照，如同白日”。加上游人集宿于此，“熙熙攘攘，人影杂沓”，形成热闹的夜市场面，素有“北关夜市”之称，亦被元人列为“钱唐十景”之一。因武林门到湖墅一带历来是杭嘉湖地区的淡水鱼集散地，故民间有谣传唱“武林门外鱼担儿”。 秦汉时钱唐西部群山总称“武林”，所以“武林”也是杭州的古称。武林门，则是杭州古代最重要的北城门，交通要道，军事关口，五代吴越为国都时号称为“北关”。从前，杭州与浙北、苏南的联系，要靠大运河，进入大运河就必须要出武林门。所以，在没有铁路、公路的时代，杭州人往北远行，必须出武林门。