Mai ésszel szinte lehetetlen elképzelni, hogyan festett a kiegyezés idején az Orczy tér és Fiumei út környéke. Mert hogy nem nagyon volt itt semmi. Sem a remíz, sem a Baross utca sokemeletes bérházai, sem a Teleki tér a piacával. A zötyögős Stáció utca kanyargott ki ide a belvárosból, végén a már ekkor is évszázados józsefvárosi kálváriával, a messzi távolban pedig felsejlett Kőbánya.
A Józsefvárosi pályaudvart is éppen azért építették meg itt, a városszéli temető szomszédságában, mert rengeteg volt az üres hely. Még a magánkézben lévő Északi Vasút kezdte meg a beruházást, ám mire 1867-ben elkészült, már az állami vasúttársaság volt a tulajdonosa. Alig egy évtized adatott a Józsefvárosinak, hogy az időközben egyesült főváros főpályaudvara legyen: 1877-ben átadták a Nyugatit, 1885-ben pedig a tőle nem messze lévő Keletit, amely impozánsabb és díszesebb lévén menten el is happolta előle a személyforgalmat.
A Józsefvárosi ezután fél évszázadra Budapest teherforgalmának lett a központja, majd pedig afféle kisegítőként szerepelt a Keleti mellett. Eddigre már teljesen körbenőtte a város: megépültek a gyárak a Kőbányai út mentén, a józsefvárosi majorságok helyét bérházak foglalták el, és villamosvonalak fonták be a környező utcákat. A teherforgalom mind kijjebb szorult, a város új széle felé, végül már a személyvonatok is útjában álltak a környék fejlődésének. 2005. december 10-én este hét óra negyvenkor az utolsó személyvonat is kigördült a pályaudvarról, történetesen Kunszentmiklós-Tass felé.
Más kérdés, hogy a Józsefvárosi pályaudvar területén ezután sem történt semmi. Igaz, az üzemi területen működő kínai piacot pár éve bezárták, de a helyére ígért zöldterület, noch dazu strandfürdő azóta is megmaradt választási ígéretnek.
Ennél is cifrább az állomásépület sorsa: még 2015 márciusára tokkal-vonóval elkészült itt a Sorsok Házának nevezett holokauszt-emlékhely – amely létével igazolta, hogy az emberirtás múzeumából is kettő kell, ha az előzőt a balliberális kormány avatta fel –, az újabbat azonban mindmáig nem nyitották meg. A hét és félmilliárdos beruházással, a Garancsi-féle Market Zrt. kivitelezésében megvalósult, igen hatásos küllemű építmény beltartalmáról ötödik éve folyik a vita. Sűrű titoktartás közepette szkandereznek egymással ez ügyben a különféle kormányközeli erők, a zsidó egyházak és a történészek csoportjai.