Nel 1979 con la Morbidelli oltre che in 500, ottenne un unico piazzamento tra i primi dieci, anche in classe 250, dove su 11 gran premi ne vinse 3 (Jugoslavia, Olanda e Svezia) e 5 podi. Nel mondiale fu terzo. Sembrava l'anno giusto, allietato dalla nascita del figlio Valentino, ma la casa pesarese, pur avendo una moto competitiva, a inizio stagione adottò un nuovo deludente telaio. Tornata al vecchio telaio, la moto si rivelò competitiva e Rossi chiuse la stagione dietro al sudafricanoKork Ballington e all'australianoGregg Hansford. La stagione è stata ripercorsa da Graziano Rossi e dal suo meccanico dell'epoca, Franco Dionigi, nel documentario "Morbidelli - storie di uomini e di moto veloci" di Jeffrey Zani e Matthew Gonzales, nel quale il pilota descrive le sue impressioni sull'annata.
Nel 1980 fu ingaggiato dalla Suzuki con Lucchinelli, ma un grave incidente stradale ne condizionò il rendimento e a fine stagione non fu riconfermato; l'anno successivo, con la stessa squadra, Lucchinelli vinse il mondiale. Risale a quel periodo la rottura dei rapporti con Roberto Gallina, titolare della squadra.
Nel 1982 corse con una Yamaha del team Agostini. Nella gara del campionato Italiano velocità della classe 500, disputatasi a Imola il 19 settembre 1982, cadde rovinosamente e si salvò solo grazie al tempestivo intervento dei medici della clinica mobile. Ristabilitosi, abbandonò le due ruote per tentare la fortuna nei rally, partecipando a due prove del campionato mondiale rally, senza risultati.