ณ ปากถ้ำนารายณ์ มีอักษรมอญโบราณ (ปัลลวะ) ซึ่งเป็นแบบอักษรของชาวอินเดียฝ่ายใต้ ปรากฎมีในภาคกลาง และภาคใต้ของประเทศไทยในสมัยก่อนสุโขทัย จนวิวัฒนาการมาเป็นอักษรขอมและ มอญโบราณ ซึ่งพ่อขุนรามคำแหงมหาราชทรง นำมาดัดแปลงประดิษฐ์เป็นต้นกำเนิดอักษรไทย จนถึงทุกวันนี้อักษรจารึกถ้ำนารายณ์ มีข้อความ ๓ บรรทัด ถูกจารึกในสมัยพุทธศตวรรษที่ ๑๒ (ยุคทวาราวดี) ในยุคนั้น ชนชาติมอญมีอำนาจรุ่งเรือง อักษรจารึก เขียนเป็นคำบอกร้อยแก้ว กรมศิลปากรแปลไว้ว่า

“กัณทราชัย ผู้ตั้งแคว้นอนุราธปุระ ได้มอบให้พ่อลุงสินาธะ 
เป็นตัวแทนพร้อมกับชาวเมือง (อนุราธปุระ) จัดพิธีร้องรำ 
เพื่อเฉลิมฉลอง(สิ่ง)ซึ่งประดิษฐานไว้แล้วข้างในนี้” 

อ้างอิงจาก (เทิม มีเต็ม และจำปา เยื้องเจริญ กองหอสมุดแห่งชาติ กรมศิลปากร
‘จารึกบนผนังปากถ้ำนารายณ์’ ในวารสารศิลปากร หน้า ๕๓-๕๗ ม.ป.ป.)