UnTuttavia contofu èdifficile farerealizzare dellela promesse e un altro il mantenerle:; le casse dell'impero erano vuote, e l'unione delle due chiese era fortemente osteggiata sia dal clero sia dal popolo bizantini. Alessio cercava di tergiversare e di tacitare i comandanti dei crociati con dispendiosi regali, cosa che accentuò la cupidigia di questi ultimi. In città le colonie dei mercanti genovesi e pisani, che già vi risiedevano, venivano assalite dal popolo esacerbato. Alessio peggiorò le cose imponendo nuove e gravose tasse per racimolare fondi per calmare i crociati che cominciavano ad arrabbiarsi. Si inimicò anche il clero confiscando e facendo fondere i candelabri d'argento delle chiese. La scontentezza degli abitanti cresceva nel vedere quei superbi cavalieri che scorrazzavano in città. La soldataglia latina aveva bisogno di viveri e compiva scorribande per conto suo. Cominciarono atti di aperta ostilità contro i crociati che venivano anche aggrediti per le strade. Alcuni di essi, che avevano saccheggiato una moschea, vennero aggrediti dai bizantini e per difendersi appiccarono il fuoco ad alcune case. L'incendio si propagò e per giorni una parte di Costantinopoli fu preda delle fiamme. Venne fatto anche un tentativo di incendiare le navi veneziane che però non ebbe successo.
Si arrivò ad una rivolta, capeggiata da [[Alessio V Ducas]] detto "Murzuflo" , cugino di Alessio IV, che aveva precedentemente appoggiato l'usurpazione di Alessio III. Alessio IV venne catturato e strangolato, Isacco II morì misteriosamente poco dopo, forse quale conseguenza dei patimenti subiti in carcere forse per mano di Alessio V. Salito al trono, Alessio V rifiutò qualsiasi pagamento ai crociati ed ai veneziani ed impose loro di lasciare la “sua” città e il “suo” dominio.
