Az Abonyból induló zseni kétszeres olimpikon, 1972-ben és 76-ban is tagja volt a magyar válogatottnak. Sőt, később a világválogatottba is meghívták, negyvenkét esztendősen pedig Európa legjobbjai között szerepelt. Varga Pista – ahogy mindenki hívta – nemzeti mezben sem adta alább: a 127 meccsen 882 gólt szerzett.
A világklasszis átlövő Budapesten a Honvéd játékosaként robbant be az élvonalba. – Akkoriban nem jelentett meglepetést a Honvéd első helye, mindig remek volt a katonacsapat, ha pedig akadt egy hiányposzt, a főnökök egyszerűen bevonultattak valakit – emlékezett utóbb a hetvenes évek sikerkorszakára. 1965 és 73 között négyszer nyert bajnokságot a Honvéddal, majd Debrecenbe szerződött, de ez nem várt bonyodalmakba ütközött: a Honvéd nem adta ki a játékjogát, kezdetben pihenőre kényszerült, de addig sem tétlenkedett: annak a reményteljes felnőttcsapatnak lett az edzője, amelynek a rövid szünet letelte után vezéregyéniségévé nőtte ki magát. 1975-ben a Debreceni Dózsa játékosaként is felért a csúcsra.
Varga ötszörös magyar bajnok, ötszörös kupagyőztes, Iszonyatos erejű, elhajlásos, a sorfalat megkerülő szabaddobásai fogalommá váltak a sportágban.
A müncheni olimpián az Egyesült Államok elleni mérkőzés bemelegítésének záróakkordjaként megeresztett egy lövést 13 méterről, a labda a felső lécről a plafon felé pattant, és széttört egy-két lámpatestet. A találkozón 13 gólt dobott, ennél többet egy mérkőzésen azóta sem szerzett olimpián magyar férfi kézilabdázó.
Visszavonulása után sem szakadt el a sportágtól, klubsikerei helyszínén, Debrecenben dolgozott. Hosszan tartó, súlyos betegség után 2014. december 6-án hunyt el. Szülővárosában sportcsarnokot neveztek el róla.