Ferencz József labdarúgás iránti szeretete egészen gyerekkoráig nyúlik vissza. Ahogy a legtöbb falusi fiúnál, nála is a foci jelentette a legkedvesebb időtöltést. Már az iskolai csapatban felfigyeltek rá gyorsasága, játékérzéke és csendes magabiztossága miatt, és hamar helyet kapott a falu felnőtt együttesében is.

Tanulmányai alatt Miskolcon és Kenderesen is meghatározó tagja lett az iskolai csapatoknak. Bárhová került, a pályán mindig megtalálta a helyét, és a társak is megtalálták benne azt az embert, akire lehet építeni. Amikor befejezte iskolai tanulmányait, sokak bánatára máshol keresett lehetőséget, de végül Polgáron, a P.I.A.C. csapatában talált igazi otthonra. Eleinte csatárként játszott, később pedig a védelem oszlopos tagja lett.

Itt játszott kollégája és örök barátja, Vámosi Albert is. Együtt erősítették a csapatot a megyei első osztályban, míg Albert a kaput védte, addig Józsi bácsi hátvédként „sepregetett”. A vidéki bajnokság sajátos hangulata, a vasárnap délutánok zsongása, a pálya szélén állók kiáltásai mind-mind részei lettek annak a közegnek, amelyben Józsi bácsi igazán kiteljesedett.

Egész pályafutása során mindössze egyszer állították ki, de akkor nem volt más választása, hogy gólt ne kapjon a csapat, kénytelen volt kizökkenteni az ellenfelet az egyensúlyából. Egyébként, ahogy a magánéletben, a pályán is rendkívül sportszerű volt.