創立年代は不詳であるが、社伝によると往古は尾川大明神と称した。天冶2年（1125）藤原貞信が八溝山の賊徒討伐にあたり、本社に祈願し、速やかに平定した。
大治元年（1126）社殿増築。
建久4年（1193）4月源頼朝の那須野狩の時、那須太郎資光が本社に祈誓。
この時、温泉神社と改称した。
境内地摂社に八坂神社を祀る。