If he studied hard, he would be a good student.
と
If he were to study hard, he would be a good student.
の意味は基本的に同じと思います。
一つの違いとしては、If he were to study hard, he would be a good student.の方が長く、そして若干短いほうよりフォーマルに感じます。
それと、If he studied hard, he would be a good student.は過去形(studied)を使用しているため、過去に(例えば子供の頃)勉強をしていれば、今はいい学生になっていたというニュアンスもあります。文をより明確にするためには If he had studied hard as a child, he would be a good student now. のように言えます。
それから、If he were toのほうが、その可能性(勉強の可能性)をより低く感じます(若干のニュアンス、個人的な感覚かも)。
Tommyさん 丁寧にご回答頂きありがとうございました。ニュアンスの違いについても良くかりました。
taku