小洋山旧称羊山，与大洋山以及沈家湾岛和唐脑山等均为崎岖列岛主要岛屿，列岛由83个小岛礁组成，多裸岩秃石，因路崎岖不平，故名。或说是因岛上多羊而得名。又因岛域较小而改称小羊山，后演写为洋山、小洋山，另有三塔山和猴山等名。

小洋山为崎岖列岛第二大岛，曾是小洋乡政府所在地。北距大陆(上海芦潮港)30公里，东距嵊泗县城菜园镇39.2公里。岛呈“士”字形，南北走向，两头宽大高耸，中部狭小低平。长约2.5公里，宽700米，陆域面积1.76平方公里，其中丘陵面积1.71平方公里。岛上群峰起伏，山势陡峭，平地甚少，多裸岩，最高点为南部大观音山，海拔141.7米。海岸线长14.21公里。

小洋山位于杭州湾口，旧称羊山，传说因岛上多羊而得名，又因岛域较小而改称小羊山。

小洋岛危崖夹峙，奇石相随，十步一景，五步一观。行于山水之间，既有狭窄的小道，又有茂密的丛林，跳跃于大大小小的石头上，还可以看见神奇的石龙、姐妹石、镇龙石、水磨球石和双龙观潮等罕见石景。以石龙石、乌龟石为最美。

乌龟石，初上路即见。重约数吨，附于崖顶，倾斜向上，又称石鸡望空。

岛上另有著名景点小观音山摩崖群。小观音山有古摩崖石刻8处，山小而大石叠接，如巧匠所垒之天然碑石之山。“海阔天空”镌于山顶岩壁石匾中，为明万历三十六年(1608)游兵都司张文质书，是岛上最早的一方题刻。

“倚剑”二字堪称“大字王”，镌于西坡巨壁，每字高3.8米，宽3.5米，系明万历四十一年青田知县举人李楷所书，笔力遒健，豪气撼人，是浙江岛屿中最大的摩崖石刻。

其他题刻如“鲲鹏化处”、“中流砥柱”、“水天阔处”和“海晏波宁”等，皆浑雄大气，游客大多喜欢于此摄影留念。