A bokszolói pálya felé is rögös út vezetett, édesanyja ellenezte, inkább labdarúgónak szánta volna a fiát, akit 18 éves korában a világháború német frontjára vitték, a többek között Pappot is szállító vagont két bombatámadás is érte, később pedig úgy nézett ki, Csehszlovákiában veti meg a lábát. A forint hiperinflációnak véget vető 1946-os bevezetése után tért vissza Magyarországra, ahol a Görbe becenevű öklöző még 1947-ben sem számított a legjobbnak.
Aztán megtáltosodott, a londoni olimpián az első három ellenfelét kiütötte, az elődöntőben az olasz Ivano Fontanát pontozással múlta felül.
A középsúlyú döntő előtt felröppent a pletyka, miszerint hazai ellenfele, a brit John Wright eltörte a kezét, ki sem tud állni Papp ellen – a magyar küldöttség vezetője, Forray Árpád nagyon bölcsen megtiltotta, hogy erről bárki is szóljon Pappnak, készüljön csak úgy, hogy lesz mérkőzés, ne zökkenjen ki, ne bízza el magát. És milyen jól tette, hiszen, mint kiderült, a hír kacsa volt!
Wright pedig innentől kezdve nem kerülhette el a végzetét, az önbizalomtól duzzadó Papp („Egy pillanatig sem gondoltam arra, hogy Londonban baj érhet” – emlékezett vissza évtizedek múltán) pontozással ugyan, de simán legyőzte. A helyi újságok értékelése szerint már az is nagy teljesítmény volt Wrighttól, hogy nem kiütéssel kapott ki: „A British Múzeum vegye meg Wright állkapcsát, és állítsa ki mint a világ nyolcadik csodáját, hiszen a bombázó magyar, Papp ütéseit is kibírta.”
Papp a következő két olimpián már nagyváltósúlyban lépett a ringbe, Helsinkiben és Melbourne-ben sem talált legyőzőre, emellett két Európa-bajnoki (1949, Oslo: középsúly; 1951, Milánó: nagyváltósúly), és kilenc magyar bajnoki címet is begyűjtött, a mai napig a magyar sporttörténelem egyik legigazságtalanabb ténye, hogy politikai okokból sosem küzdhetett profi világbajnoki címért. Sportolói pályafutása után több játékfilmben is szerepet vállalt, de edzőként is maradandót alkotott, Gedó Györgyöt például olimpiai aranyéremig vezette, mesteredzői címet is kapott.