Les membres de la dynastie Pandya évincés par Thirumala Naicker, souverain de l'ancien empire Pandya, s'étendant sur Madurai, Thirunelveli et Ramanathapuram, vivaient dans des endroits comme Valliyur, Tenkasi, Shengottah, Achankovil et Sivagiri. Ils avaient également établi leur suprématie dans certaines parties de Travancore, et certains d'entre eux appartenant à Chempazhanattu Kovil à Sivagiri avaient obtenu le droit de gouverner le pays de Pandalam par le roi de Travancore, il y a environ huit cents ans. Le roi Rajashekara, le père adoptif de Ayyappan appartenait à cette dynastie.