พะ แปลว่า นาย หรือ นาง เป็นคำนำหน้า ส่วน วอ แปลว่า แดง เพราะฉะนั้น ศาลเจ้าพ่อพะวอ แปลได้ว่า ศาลเจ้าพ่อนายแดง นั่นเอง ประวัติความเป็นมาของ “เจ้าพ่อพะวอ” นั้นมีเรื่องเล่ากันมาว่า ท่านเป็นนักรบชาวกะเหรี่ยง สมเด็จพระนเรศวร ทรงแต่งตั้งให้เป็นนายด่านอยู่ที่ด่านแม่ละเมา เพื่อคอยป้องกันข้าศึกมิให้ข้ามภูเขามาได้

เดิมทีศาลเจ้าพ่อพะวอ อยู่อีกด้านหนึ่งของภูเขา แต่เมื่อทางการได้สร้างถนนตัดผ่านจึงได้มาสร้างศาลขึ้นใหม่ มีผู้เล่าว่า ศักดิ์สิทธิ์มาก ถ้าใครไปล่าสัตว์ในบริเวณเขาพะวอแล้วมักจะเกิดเหตุต่าง ๆ
เช่น รถเสีย เจ็บป่วย หรือ หลงทาง และเพราะเหตุที่เจ้าพ่อพะวอเป็นนักรบ จึงชอบเสียงปืน ผู้ที่เดินทางผ่านนิยมยิงปืน ถวายท่านเป็นการแสดงความเคารพ หรือ มิฉะนั้น ก็จะจุดประทัด หรือ บีบแตรรถถวาย

ชาวบ้านเล่ากันมาว่า “พอถึงฤดูฝนที่นี่จะได้ยินเสียงอาม๊อก (เสียงปืนใหญ่) เสียงนี้จะดังลั่นสนั่นไปทั่วทั้งเมืองและหุบเขา เชื่อกันว่าเป็นการเตือน จากเจ้าพ่อพะวอว่าเกิดอะไรขึ้น ถ้าเป็นต้นฝนก็หมายความว่า ลงพืชไร่ได้ แต่ถ้าเป็นฤดูแล้ง หมายความว่า จะเกิดอาเพศ”