1927’de Louisiana’da dünyaya gelen Carroll, beş yaşında ailesiyle Los Angeles’a taşınır ve orada yerel oyunlarda oynamaya başlar. Catholic University of America’dan mezun olduktan sonra ise gece kulüplerinde komedyenlik yapmaya başladı. 1955’te “Catch a Star” isimli revü müzikali ile Tony adaylığı kazandı.
Bir karakter oyuncusu olarak komedyen, başlarda film sektöründe beklediği başarıyı yakalayamasa da ilerleyen yıllarda hayranlarını şaşırtarak Şeykspiryen roller oynamış eleştirmenlerden tam not almıştır. “Merry Wives of Windsor”da Sör John Falstaff ve “Romeo Juliet”te hemşire rolüyle Helen Hayes ödüllerine layık görülmüştür.
Yer aldığı filmler arasında Annemin Yatağında Bir Erkek Var! (1968), Nancy Drew (2007) ve Özgürlük Yazarları (2007) bulunmaktadır.
Menajer eşi Lee Karsian ile Sean, Kerry ve Tara isimlerinde üç çocuk dünyaya getirmiştir ve 30 Temmuz 2022 tarihinde hayata gözlerini yummuştur.