Ancelotti da calciatore vestì la maglia della Roma e collezionò 171 presenze segnando 12 gol dal 1979 al 1987
Il suo bilancio, alla fine dei suoi otto anni in giallorosso, è di uno scudetto (1982-1983) e 4 Coppe Italia (1979-1980, 1980-1981, nella cui finale di andata realizzò una rete, 1983-1984 e 1985-1986).
Durante il suo periodo in giallorosso, Ancelotti è afflitto dagli infortuni alle ginocchia. S’infortuna due volte al ginocchio destro: dapprima nell’ottobre 1981 (durante una partita contro la Fiorentina), e poi in un allenamento del gennaio 1982, alla vigilia dell’incontro con l’Ascoli. Poi, è la volta del ginocchio sinistro, nel dicembre 1983, durante una gara contro la Juventus. Questi infortuni gli impediscono di saggiare il campo con continuità nelle stagioni 1981-1982 e, soprattutto, 1983-1984, tenendolo fuori dalla fase conclusiva della Coppa dei Campioni di quell’anno, persa dai capitolini in casa contro il Liverpool dopo i rigori.