{{Citazione|Né mai riedificheremo o permetteremo la riedificazione per alcun motivo del castello di Pogna, né di case o d'opere in Semifonte|{{Cita|''Capitoli del comune di Firenze''|XVI, p. 25|''Documenti dell'antica costituzione del comune di Firenze''}}|Nec ullo in tempore reedificabimus vel permittemus reedificationem aliquo ingenio castellum de Pogna, nec domos aut operas in Summofonte, […]|lingua=la}}
Furono costretti a questo giuramento il Conteconte Alberto, i suoi figli Guido e Maginardus e la moglie Tavernaria.
I patti però non vennero rispettati e il processo di espansione di Semifonte riprese indisturbato. Il 19 agosto [[1187]], ilnel contediploma Albertocon si presentòcui a [[Bologna]]il come[[Re testimonedei alRomani|re]] cospetto dell'[[Enrico VI di Svevia|imperatore Enrico VI]] concesse ai Fucecchiesi di edificare un castello, il conte Alberto figura come testimone, facendosi appellare quale «comes Albertus de SummufonteSummofonte»<ref>{{Cita|''Semifonte in Val d'Elsa e i centri di nuova fondazione dell'Italia medievale''|p. 244}}.</ref><ref>Secondo il Davidsohn questo episodio sarebbe da interpretare come una rifondazione di Semifonte, ma visto che il castello non aveva subito grossi danni appare un po' improbabile. {{Cita|Davidsohn 1957|Volume I, p. 862}}.</ref>. La scelta del conte è significativa: fino a quel momento gli Alberti si erano sempre presentati come Conticonti di Prato, ma la decisione di usare il nuovo titolo di fronte all'imperatoreerede designato al trono imperiale (cioè di fronte a colui che legittimava il loro potere) va letta come la dimostrazione degli stretti legami che legavano la famiglia con il nuovo centro e il nuovo centro con il potere imperiale; il messaggio rivolto in tal modo a Firenze e ai suoi alleati era chiaro: toccare Semifonte equivaleva a toccare direttamente gli interessi imperiali. Fra i principali alleati di Firenze vi erano i [[Guidi|conti Guidi]], i quali nella zona tra la [[Pesa]], l'[[Elsa (fiume)|Elsa]] e l'[[Arno]], ossia nel feudo degli Alberti, avevano fondato nello stesso periodo due centri: ''[[Poggibonsi|Podium Bonizii]]'' ed [[Empoli]], e quest'ultima, con il dichiarato intento di sottrarre uomini agli Alberti<ref name="semifontemedievale245">{{Cita|''Semifonte in Val d'Elsa e i centri di nuova fondazione dell'Italia medievale''|p. 245}}.</ref>. Con l'incastellamento di Semifonte gli Alberti, unici veri rappresentanti del potere imperiale in quella zona della Toscana, cercarono di controbilanciare il potere guidingo.
