Hallgatta a rádióban a közvetítéseket otthon Békéscsabán, s minden vágya az volt, hogy NB I-es futballista legyen. Álma az ország túlsó felében vált valóra, 19 évesen a Győri Vasas ETO-ban. Nem véletlenül került Győrbe, ott védett ugyanis bátyja, János, akivel egyébként később megjárták a hadak útját. 1956 őszén elhagyták az országot, Németországban, Freiburgban próbálkozott, s akkor tért haza, amikor már nem kellett volna eltiltással számolnia.
Első NB I-es szezonjából (1955) a Bp. Kinizsi néven szereplő Fradi elleni meccs (1:1) maradt számára a legemlékezetesebb, góljával vezetett a Győr, amikor kiállították. Dalnoki Jenővel szemben törlesztett, mindkettőjüket leküldték a pályáról, ám ő haláláig nem felejtette a történteket, kétszeresen is szégyellte magát miatta. Egyrészt, mert kiegyenlített a Kinizsi, másrészt, mert elvesztette a fejét.
Az eset jól illik hozzá, hiszen mindig is arra törekedett, hogy igazi sportemberként szolgálja a futballt. Nem véletlenül lett csapatkapitánya az ETO-nak, majd a Lakat Károly irányította, Tokióban olimpiai bajnok magyar együttesnek. Amelyben éppen a döntőben nem játszhatott sérülés miatt, így aranyérmet csak később kapott – jellemző, hogy a drukkerek készíttették el.
Fedezetként és csatárként egyaránt klasszis – így az általános vélemény, s nem sokon múlott, hogy kapusként is bizonyíthasson. A Benfica elleni BEK-elődöntő első mérkőzésén 1965-ben Tóth László megsérült, s már Palotain volt a fekete mez, amikor Tóth jelezte: képes a folytatásra.
Hogy az ETO bejutott a négy közé, főszerepe volt benne, rendre a mezőny legjobbjai között emlegették a tudósítások, igazi vezér volt a pályán, a szabadrúgásai pedig rengeteg nehéz helyzeten segítették át együttesét. Amit 1965 júniusában, az SBTC elleni győztes meccs után írt a Képes Sport, általánosítható: „Palotai Károly neve kívánkozik a 22 játékos névsorának élére. A győriek csapatkapitánya ezúttal is nagy területen játszott, sok jó támadást indított, karmestere volt a csapatnak”.
Mégse adatott meg neki, hogy bemutatkozzon a nagyválogatottban. Bántotta, de soha senkinek nem tett szemrehányást miatta, magában kereste a hibát: „Lassúnak tartanak” – mondta.
Játékvezetőként kárpótolta magát (már 1959-ben letette a bírói vizsgát), a világ legjobbjai között tartották számon. Tekintélyére jellemző, hogy az 1978-as világbajnokság legfeszültebb, legindulatosabb mérkőzését, az Argentína–Brazília találkozót kiállítások nélkül „hozta le”, joggal bízott benne, hogy szavakkal is képes visszatérően lecsillapítani a feleket.
Mert csendes ember volt, de figyelni kellett rá.