Venne istituita nel 314 in seguito alle riforme provinciali di Diocleziano e Costantino. Faceva originariamente parte della [[Prefettura del pretorio d'Italia]], e in seguito entrò a far parte della [[prefettura del pretorio dell'Illirico]]. Dopo la divisione di quest'ultima nel 379, entrò a far parte di nuovo nella Prefettura d'Italia con la denominazione di ''Diocesi d' Illirico''.
La Diocesi di Pannonia era una delle due diocesi dell'Illirico romano a non essere di cultura greca (l'altra era la [[Dacia (diocesi)|Dacia]]), e entrò a far parte dell'Impero romano d'Occidente alla morte di [[Teodosio I]] nel [[395]]. Nel 437 Galla Placidia, per ricompensare Teodosio II per aver messo sul trono occidentale il figlio di lei Valentiniano III, cedette l'estremità orientale della Pannonia II (con le città di [[Sirmio]] e [[Bassiana]]) all'Impero romano d'Oriente.<ref>Morrison, p. 330.</ref> Il resto della Pannonia era stato ceduto agli [[Unni]] da Ezio in cambio dell'appoggio militare degli Unni all'Impero in Gallia. La Pannonia II divenne così la tredicesima provincia dell'Illirico orientale e [[Sirmio]] divenne per qualche tempo la capitale della prefettura dell'Illirico (orientale), ma venne ceduta da [[Teodosio II di Bisanzio|Teodosio II]] agli [[Unni]] in seguito alle vittoriose campagne balcaniche di [[Attila]] del [[441]]-[[442]].
Secondo altri studiosi, tuttavia, tutto l'Illirico occidentale sarebbe stato ceduto all'Impero d'Oriente. Essi citano come prova:<ref>McGeorge, pp. 34-37.</ref>
