柿平は林に囲まれた片面ホームの駅である。豊橋よりのやや拓けた土地に小さな集落が存在する。

駅入口にうめの湯というのぼりがあるが、これは駅の近くの国道に出て案内に従うといいが、どちらかというと隣の三河川合の方が最寄である。