Caratteristico borgo medioevale sorto lungo la Via Consolare Flaminia, sicuramente abitato sin dall'epoca romana come testimoniano i resti del monumento funerario sito all'incrocio per Terni e Narni, le pavimentazioni a mosaico della casa patrizia ed i due ambienti comunemente chiamati "cisterne romane" in via del Tribunale.

La sua storia è legata a doppio filo alla vicina città di Carsulae, i cui abitanti, al suo abbandono, sembra si rifugiassero in quello che probabilmente era già un piccolo insediamento situato nella parte più alta del colle coincidente con le attuali vie della Rocca e del Tribunale, dando origine ad un nuovo centro dal nome di Casventum. 
La prima fonte attendibile è il documento del 1036 per la fondazione dell'Abbazia di San Nicolò. 
Subì l'invasione ed il potere longobardo e fu contesa dalle vicine città di Todi e Narni. Entrò nell'orbita dello Stato Pontificio ed ottenne l'indipendenza grazie al Papa Innocenzo III divenendo poi libero Comune con tutte le sue magistrature ed istituzioni amministrative. Nel 1530 fu ceduto in feudo da Papa Clemente VII ai fratelli Ferdinando e Giovanni Antonio Orsini. 
Nel 1590 il Castello di San Gemini fu elevato a Ducato e passò successivamente ai duchi di Bracciano che nel 1720 lo cedettero al Principe Scipione di Santacroce.
Alla fine del '700, durante la Repubblica romana, entrò a far parte del Dipartimento del Clitunno con capoluogo Spoleto. 
Durante la I e II Restaurazione subì numerose modifiche. Durante la II Repubblica romana di Mazzini e Garibaldi, la città, al passaggio di quest'ultimo nel luglio del 1849, gli dedicò una lapide apposta a fianco alla Porta Romana. 
Secondo la leggenda San Gemini assume il nome da un monaco benedettino "Yemine" che arrivò dalla Siria nel IX secolo compiendo opera di evangelizzazione ed al quale la città mostrò riconoscenza e devozione assumendolo a Santo Protettore "San Gemine" che si festeggia ancora oggi il 9 ottobre, periodo in cui hanno luogo le rievocazioni storiche della "Giostra dell'Arme" proprio in Suo onore.

 Sorta come agglomerato intorno ad una domus romana lungo la via Flaminia, acquista la conformazione e dignità di città intorno all'anno mille quando vengono edificate mura e porte di accesso. Ampliamenti e rimodernamenti del borgo sono stati apportati soprattutto nel XIV e nel XVIII secolo.

 La cittadina ha sempre mantenuto intatto il fascino del piccolo borgo medievale ed una passeggiata tra i suoi vicoli offre scorci incantevoli in un'atmosfera dove il tempo sembra essersi fermato.

 Tra gli edifici principali il Palazzo Vecchio o Palazzo Pretorio, edificio civile dove si svolgevano le assemblee dei signori della città in epoca medievale e rinascimentale, la chiesa di San Francesco, edificata in onore del poverello di Assisi a seguito del suo passaggio in città, la chiesa di San Giovanni, con il  suo prezioso portale romanico, e l'Abbazia di San Nicolò, ubicata subito fuori le mura cittadine,  l'edificio di San Gemini di cui si ha la più antica testimonianza documentale.  

All'interno di un giardino privato è custodita la pavimentazione della domus romana attorno a cui il centro si sviluppò. Infine merita una visita il Museo Guido Calori, che ospita all'interno di un chiostro cinquecentesco le opere di uno scultore e romano molto noto soprattutto nella prima metà del Novecento.    

La cittadina medievale di San Gemini fa parte del circuito dei Borghi più belli d'Italia e del club delle Città Slow legato al progetto Slow Food.