Károlyi Pál 1934-ben született Budapesten, iskoláit is itt végezte. Kezdetben a zongora-szakra járt, majd érettségi után zeneszerzést tanult Szelényi Istvánnál. 1956-ban felvételizett a Zeneakadémia zeneszerzés tanszakára, ahol Viski János növendéke lett. Az ő halála után Farkas Ferencnél fejezte be tanulmányait 1962-ben.
A XI. kerületi zeneiskolában tanított 1975-ig zongorát, majd 1990-ig a Zeneakadémiára felkészítő zeneelméletet és zeneszerzést. Első műve az - oratóriumnak nevezett - Aucasin és Nicolete című ófrancia széphistória (Tóth Árpád fordításának felhasználásával), amelyből 1968-ban rádiófelvétel készült.
Később több nagyzenekari és kamaraművet, orgonaműveket, továbbá számos kórusművet írt, versenyművei között egy zongoraverseny (1991) és egy cimbalomverseny (1998) is szerepel. A Filharmónia 1999-ben zenekari darabot kért tőle, amelynek a Sonata címet adta; a darab bemutatója Budapesten volt még ugyanabban az évben. Legutóbbi alkotásai közé tartozik a vegyeskarra és orgonára írt Stabat Mater (2004). Több művét lemezfelvétel is megörökítette.
A fidelio.hu-n elérhető önéletrajza szerint Stockholmban személyesen is megismerkedhetett az általa bálványozott Bengt Hambraeus zeneszerzővel, akitől - mint írja - Szelényi István után a legtöbbet tanult. Károlyi Pál műveit külföldön is játszották, és külföldi felkérésekre is komponált (Bergen, Berlin, Bonn, Kassel, Nürnberg, stb.).
1990-től Szombathely közelében, Nardán élt, a komponálás mellett tanított is a Berzsenyi Dániel Főiskolán. 2005-ben megkapta a Magyar Köztársasági Érdemrend lovagkeresztjét, munkásságát 2009-ben Erkel Ferenc-díjjal is elismerték.