磯山神社は、老樹うっそうと茂り、幽玄な雰囲気に包まれている。
社伝に一条天皇の永延二年（988）の創建と伝えられる古社である。
近世には三代将軍徳川家光より御朱印地を附せられてより、代々の将軍からも同待遇を受けた。
寛文二年建立の本殿が県指定重要文化財に、御神木の大杉と夫婦杉が市の天然記念物に指定されている。
又、梅雨の時期には氏子の手により植えられた紫陽花（アジサイ）二十種・二千株が社頭を鮮やかに彩る。