Csermely József 1945. január 3-án született Kunhegyesen. A Békés megyéből származó sportoló a középiskolai tanulmányait Budapesten kezdte meg és 1961-ben ismerkedett meg az evezéssel. Nagyon gyorsan fény derült a tehetségére és három évvel később éppen csak lemaradt a tokiói olimpián való indulásról.
1967-ben viszont Sarlós György, Melis Antal és Melis Zoltán társaságában tagja volt a franciaországi Vichyben megrendezett Európa-bajnokságon ezüstérmes hajónak, s ezzel az eredménnyel biztossá vált az ötkarikás indulásuk is. A helyezést Mexikóvárosban és az 1969-es klagenfurti Európa-bajnokságon is sikerült megismételniük. Tagja volt még az 1972-es müncheni olimpián induló négyesnek is, de ekkor meg kellett elégedniük a 13. hellyel. Sportpályafutását 1975-ben, 30 esztendősen fejezte be, ezt követően gépészmérnökként tevékenykedett.