Pápay József 1939. június 29-én született a mai Szlovákia területén fekvő Fűr községben. 1962-ben szerzett okleveles olajmérnöki diplomát a miskolci Nehézipari Műszaki Egyetemen, majd 1968-ban védte meg doktori disszertációját.
A diploma megszerzése után az OKGT-nél, a MOL Nyrt. jogelődjénél kezdett dolgozni. Később az OKGT laboratóriumi főosztályára került, ahol a műveléstervezési osztályon a földgáztelepek, a föld alatti gáztárolók művelésével összefüggő technológiák kidolgozásával, majd az olajtelepek korszerű művelésének módszereivel foglalkozott.
1980-ban kinevezték a Magyar Szénhidrogénipari Kutatás-fejlesztő Intézet főosztályvezetőjének, majd 1992-től a MOL Olaj- és Gázipari Laboratóriumának vezetője, később a cég főtanácsadója volt. Számtalan nagy projekt fűződik a nevéhez, köztük a hajdúszoboszlói földalatti gáztároló tervezése, az algyői vízkiszorításos termelés tervezése vagy a szén-dioxid használata magyarországi kőolajkihozatal-növelő eljárásos projektekben.
1984-ben megvédte műszaki tudományok doktora értekezését a szénhidrogén-bányászat céljára fúrt kutak hőmérsékletviszonyainak meghatározásáról, amelynek eredményeit a nemzetközi gyakorlat is átvette. 1992-ben a Miskolci Egyetemen egyetemi tanárrá nevezték ki, 1998-ban az MTA levelező, 2004-ben rendes tagjává választották. Az oktatás és a kutatói munka mellett a Kőolaj és Földgáz című szakfolyóirat szerkesztőbizottságának is tagja volt.
Több mint háromszáz tudományos publikáció, illetve öt könyv szerzője, társszerzője.
Életművét 2005-ben a Magyar Köztársasági Érdemrend tisztikeresztjével, 2009-ben Széchenyi-díjjal ismerték el, 2015-ben pedig a Miskolci Egyetem tiszteletbeli doktori címben részesítette.