境内をおおうようにうっそうと繁るスダジイ林の中の石段を登りつめたところに二つに割れた丸い巨石があります。この石を昔から鈴石といい、またの名を陰陽石と呼んでいます。 社記によると、貞観元年（８５９年）勅令によって宇佐八幡大神を山城国男山に勧請（石清水八幡宮）の途中、この鈴石の上で神輿が一夜を過ごしたという由来により、元慶７年（８８３年）に社を建立して鈴石八幡宮としたのがこの神社の始まりとされています。