文昌阁初建于清雍正九年(1731)，因阁内供奉首奎星，故又名“奎阁”，有“奎阁凌霄”之称，是清代溪口十景之一。1924年清明，蒋介石回乡扫墓，见其破败不堪，出资拆除重建，次年完工，面积500平方米。蒋介石把它取名为“乐亭”并作《武岭乐亭记》来描述其美景。1927年12月，蒋介石和宋美龄结婚后每到溪口，常在此小住，成了他们的私人别墅。文昌阁一楼为会客室，二楼是蒋介石、宋美龄的卧室和起居室。

文昌阁占地理位置之优势，成为溪口镇上风景最优美的地方。它位居武山南端，剡溪之滨，南望溪南山色，俯视三里长街，八面临风，一派大好风光。

文昌阁里供奉“文昌帝君”像。文昌帝君熟读诸子百家，酷爱书籍。日夜手不释卷，苦读攻书，成为人间文人的偶像，冠名“奎星”。所以。文昌阁又被称为“奎阁”。溪口文人常到阁里聚会，叩拜文昌帝君。讨个吉祥，指望日后进身仕途。蒋介石的母亲王采玉望子成龙心切，且又信奉佛教，所以，常带儿子到文昌阁，跪在奎星前叩拜。蒋介石对文昌帝君十分崇敬。就在他第一次离家乡前，还跪在文昌帝君前祈求文韬武略。

文昌阁近有钓鱼台、憩水桥、武岭潭，“碧潭观鱼”为清代溪口十景之一，清人蒋廷秀诗：“碧潭潭水水光浏，养得金鳞盈我眸。何必西歧有灵沼，依蒲依藻待人游。”1985年5月，武岭潭附近新增竹筏3张，每筏可乘10余人，观赏剡溪秀色，醉人心目。