其早期为海中暗礁，因地壳运动逐渐演变为深海岛屿；随着海水东退、沧海变桑田，大伊山又称为平原上充满人烟的山脉。20亿年来，在海浪、狂风、烈日、暴晒等自然力的作用下，具有特殊水文、气候、地理位置和岩石结构的大伊山被“雕琢”的十分优美，到处留有悠久历史的印痕。就“古”而言，青风岭下有新石器时期的石棺古墓，老龙涧旁有距今700年的石佛古寺、大山圩边有楚汉相争时的防御古城，古岩画，古石刻，古庙宇，古崖如星罗棋布，周边还有古盐河，古街市以及在民间广为流传的古老传说。

“山不在高，有仙则名；水不在深，有龙则灵。”一座主峰海拔只有200多米、面积仅5平方公里的大伊山为何被称为“淮北平川第一神山” 。 山里的神象、神龟、神蛙石等等，都是自然的象形山石，没有一点人工雕刻的痕迹，真让人惊叹大自然的鬼斧神工。难怪宋代洪迈来到大伊山后写了一篇《大伊山神》被收入《夷坚志》并流传久远；难怪吴承恩为了写《西游记》曾多次来到大伊山探秘采风，把大伊山诸多自然景点收入书中，使得这部小说更富有神话色彩。