回溯赤嵌楼的历史，荷人所建的普罗民遮城，目前仅剩城堡大门和文昌阁旁的砲座遗迹可供凭吊。清朝重建，包含文昌阁、海神庙、五子祠、蓬壶书院、大士殿五栋建物。

　　现今的赤嵌楼周长为45丈3尺，高3丈6尺，共分三层，雕栏凌空，轩豁四达；内部则陈列文史资料及相关文物，除了历年修护情况及建物变迁相关图文外，原为蓬壶书院一部分的文昌阁，还奉祀着一尊魁星爷，据说这尊原供书院师生参拜以求金榜题名的魁星爷极为灵验，每届考季，神案上便排满了各色准考证、学生证，祈求神灵护佑。文昌阁庭前立有一断足石马，由洲仔尾（永康市盐行村）移来，原为林爽文事变中，阵亡的清廷官员郑其仁墓道之石刻；由文昌阁通往海神庙之间，有一半圆形石砌古井，为荷兰人建城时所凿，因此称为“红毛井”，幽幽古井深不可测，诉说一段神秘传奇，据说此井可直通安平古堡，当年郑成功入城围攻时，荷兰人便利用此密道逃往安平。

　　在诸多文物古迹中，最特殊者莫过于城楼下9座赑屃碑，此为清乾隆旌功御碑，碑文是褒旌福康安平定林爽文事件，相传赑屃为龙的九子之一，善驮重物，外型似龟，多用以驮负碑礎，遂有“龟碑”之称。