大安寺塔是义乌境内现存最早的砖木结构建筑，坐落在义乌绣湖畔，宋大观四年(1110年)建造，塔壁和塔体内有大量“庚寅岁建”的砖铭，据此推知距今已有896年历史。明永乐年间顶层倒塌，四层和五层重新修复，此后还进行过局部修补。1981年5月被公布为义乌县(市)级文化保护单位。2019年10月，被国务院核定为第八批全国重点文物保护单位。

大安寺塔修造之时，“有塔无级”，为六面楼阁式砖木混结构。塔内有盘旋而上的木扶梯，塔身有飞檐回廊，可供人登临观览.此后历代少有人管理，经风雨侵蚀，残损较为严重，顶层还曾因塔体倾斜而倒塌，后又重砌。到上世纪90年代，大安寺塔仅存塔体空筒，塔顶荡然无存，木结构腐朽，塔身倾斜，塔砖严重风化，显得老态龙钟。1996年，义乌市政府进行了第二次维修，将塔暂时加固，并上覆“葫芦顶”。但由于古塔建在填湖而成的地基上，专家计算认为，这种地质条件虽可能承受塔体重量，但湖床倾斜，塔体向西北沉降。加上临时加固外观不美，与四周焕然一新的绣湖公园格格不入，很多市民认为应该大力保护和修缮。

根据省古建筑设计研究院专家的论证，大安寺塔所含历史信息明确，具有极高的文物研究价值，虽经暂时加固，但整座塔破损严重，表面仍裸露在外，而且多处还在不断损毁，不利于长久保护，伤痕累累的古塔亟待尽快修复。

据义乌文史资料记载，大安寺塔有个美丽的传说：很久以前，义乌城里有个大湖，但不知何故，大湖经常发大水，湮没大片良田，常弄得十年九年无收。

有一天，湖边来了个白发道人，认定湖水泛滥是因为湖底有水牛精在作怪。这个水牛精是牛魔王的幼子，自小横行霸道，爱惹是生非，被父亲赶出家门，安身在此。百姓们齐心协力，汇集所有的水车，不分昼夜轮流排水，一直排了81天，最终只剩湖底的水。道人动员大家：水牛精中午要打盹，必须在它醒来前排完湖水，然后将它烧死在湖底。百姓们从四面八方赶来，很快排干了湖水，只见一个形状吓人的水牛精正盘着头、缩着脚，呼呼大睡。

众人用干柴盖住水牛精，倒上油，点着火，烧了三天三夜，终于把水牛精烧成了灰。因为担心精灵不散，再出来兴风作浪。百姓们在上面又填上泥土和石块，并造了一座宝塔镇魔。为了纪念道人的功德，乡亲们又在塔旁建起一座寺，称大安寺，并将塔命名为大安寺塔。从此，这里风调雨顺，风景如画似绣，故取名绣湖。