Mezőgazdasági és jogi tanulmányait későbbi felesége, Fialka Olga ösztönzésére szakította meg, és 1884-től Rómában tanult festészetet. Ezt követően Münchenben, majd két évig a Julian Akadémián képezte magát. Párizsban Robert-Fleury és William-Adolphe Bouguereau voltak a mesterei, tanulótársai között több magyar művész is megfordult, mint például Csók István vagy Iványi-Grünwald Béla. 1889-1892 között Szentendrén festett, majd a következő évben megismerkedett a bajor fővárosban Hollósy Simonnal. Ferenczy ezen első festészeti korszaka túlnyomórészt leíró jellegű, leginkább a francia finomnaturalizmus hatása alatt állt. Számára is, mint sok más müncheni akadémistának, a Jules Bastien-Lepage féle piktúra szolgált eszményképül.

1896-ban csatlakozott a Nagybányára vonult festőcsoporthoz, ahol hosszú időre le is telepedett. Egyéni stílusa ettől kezdve alakult ki, amelyet egyszerre jellemzett a nagybányai szemléletmód, illetve a plein air sajátos, magyar vállfaja. A századfordulót követően napfénnyel telített műveinek egész sorát hozta létre, és ő gondolta talán legkövetkezetesebben végig a szabadban történő természeti festés alapvető problémáit. Műveiben mindvégig elemezte a természet és az ember, a fény és a színek kapcsolatát.

Miután Budapesten a Képzőművészeti Főiskolán tanári katedrát kapott, csupán a nyarakat töltötte Nagybányán. Kései korszakában leginkább a posztimpresszionizmus formaproblémái foglalkoztatták, melyekre műtermi aktjaiban és csendéleteiben próbált megoldást találni. Mindhárom gyermeke művészi pályára lépett: idősebb fia Valér festő, a kisebb Béni szobrász lett, míg lánya Noémi a magyar textilművészet egyik meghatározó alakja volt.