Nell'estate 1990 il Cesena cedette Rossi al {{Calcio Milan|N}}, che lo acquistò come riserva di [[Andrea Pazzagli]]. Con la cessione di quest'ultimo al {{Calcio Bologna|N}}, nel 1991 Rossi divenne titolare indiscusso della porta rossonera, rintuzzando l'effimera concorrenza di [[Francesco Antonioli]] nel campionato 1992-1993 e vincendo nel corso del decennio cinque scudetti (tre consecutivi dal 1992 al 1994, e poi altri due nel 1996 e 1999), una [[UEFA Champions League|Champions League]] (1994), una [[Supercoppa UEFA]] (1994) e tre [[Supercoppa italiana|Supercoppe di Lega]] consecutive (dal 1992 al 1994). Nella stagione 1993-1994 superò inoltre il record di [[Dino Zoff]] (903') e guadagnò, con 929 minuti, il primo posto nella [[Statistiche della Serie A#Imbattibilit.C3.A0 del portiere|classifica dei portieri imbattuti]] nella storia della massima serie italiana a ''girone unico'', un primato che manterrà per i successivi ventidue anni (superato solo nel 2016 da [[Gianluigi Buffon]], imbattuto per 974').<ref name="Record"/> A fine stagione, Rossi giunse quinto nella classifica dei [[Miglior portiere dell'anno IFFHS|migliori portieri dell'anno]], stilata dall'[[IFFHS]].<ref>{{cita web|url=http://www.rsssf.com/miscellaneous/iffhs-gkoy94.html|titolo=IFFHS' World's Best Goalkeeper of the Year 1994|lingua=en|autore=José Luis Pierrend|data=25 gennaio 2000|accesso=28 dicembre 2016}}</ref>
Nella stagione 1996-1997 fu relegato temporaneamente in panchina a vantaggio del giovane [[Angelo Pagotto]], ma riguadagnò le chiavi della porta milanista dopo poco tempo. Con l'arrivo di [[Massimo Taibi]] nell'estate 1997, Rossi non giocò il girone di andata del campionato 1997-1998 ma recuperò la titolarità con la tornata di ritorno.
