Pásztor Erzsi 1936. szeptember 24-én, Budapesten született. Újpesten nőtt fel, édesanyja fodrásznő volt. Gyermekkorától kezdve az előadóművészet vonzotta, általános és középiskolai tanulmányait is Újpesten, a Kanizsai Dorottya Gimnáziumban végezte, ahol 1955-ben érettségizett. 1959-ben fejezte be a Színház- és Filmművészeti Főiskolát, Szinetár Miklós osztályában. Mesterei – köztük Gellért Endre, Olthy Magda és Sulyok Mária – meghatározó szakmai irányt adtak számára. A főiskolán változtatta nevét Pásztor Erzsébetre, mivel Pápai Erzsiként (1934-2017) már létezett akkoriban ismert, egyébként vele egyidős színésznő.
Pályáját a debreceni Csokonai Színházban kezdte, ahová Szendrő József szerződtette. 1961 és 1964 között a Petőfi Színház tagja volt, egészen az intézmény megszűnéséig. Ezt követően egy évadot játszott a szolnoki Szigligeti Színházban, Berényi Gábor hívására, aki később a Játékszín igazgatójaként is rendszeresen visszahívta vendégszerepelni. 1965-től csaknem másfél évtizeden át a Pécsi Nemzeti Színház meghatározó színésze lett, ahol Sík Ferenc és Babarczy László rendezéseiben dolgozott. Pécsi éveihez kötődik lánya, Holl Henriette 1966-os születése is.
1978 és 1983 között a Mafilm társulatához tartozott, majd hosszú éveken át a Madách Színház művésze volt. Bár 1993-ban – Kerényi Imre igazgatása alatt – nyugdíjazták, vendégként tovább játszhatott. A 2000-es években a Soproni Petőfi Színházban és a Szegedi Nemzeti Színházban is fontos szerepekben állt színpadra. 2003-tól folyamatosan szerepel a Turay Ida Színházban, jelenleg a Forgószínpad és a Fergeteges látogatás című sikerelőadásokban látható. Rendszeres fellépője a Játékszínnek is, ahol a Nyolc nő című komédiában 2013 óta játszik.
Alkatát különös, belső indíttatású groteszk humor színezi, amely erős komikai érzékkel párosul, miközben a tragikum is elemi erővel van jelen játékában. Filmekben is gyakran szerepel: a Veri az ördög a feleségét című 1977-es film főszerepéért a Filmszemlén elnyerte a legjobb női alakítás díját. Színházi pályáját olyan meghatározó előadások fémjelzik, mint a Macskajáték, a Koldusopera, a Bors néni vagy a Bernarda Alba háza. A Soproni Petőfi Színház és a Turay Ida Színház örökös tagja. 2022-ben a mohorai Tolnay Klári-emlékház szabadtéri színpadát róla nevezték el.
Kétszer házasodott: első, rövid kapcsolata Jászai Lászlóval köttetett, második férjétől, Holl Istvántól két évtized után vált el. Lánya, Holl Henriette közel három évtizedig Olaszországban élt, majd 2021-ben tért haza. Két unokája – Júlia és Áron – közül az idősebb szorosan kötődik hozzá, gyakran látogatja Budapesten. Pécsett él egy féltestvére.
2018-ban végbélrákot diagnosztizáltak nála; több műtéten, kemoterápiás és sugárkezelésen esett át, de még ugyanabban az évben visszatért a színpadra. 2023-ban hallásromlás miatt visszavonult a szinkronizálástól; szinkronpályafutása alatt mintegy hétszáz produkcióhoz adta hangját, a magyar közönség Maggie Smith, Judi Dench, Rosemary Harris és Maureen Stapleton játékát az ő hangján ismerhette. Rangos elismerések birtokosa, 1977-ben Jászai Mari-díjat kapott, 2012-ben Kossuth-díjas lett, 2022-ben a Halhatatlanok Társulata örökös tagjának választotta. 2025-ben – a közönség szavazatai alapján – Arany Medál-életműdíjat vehetett át.