Le lieu-dit « Les folies » est entouré d’autres lieux-dits, tel que « sous la route de Thonnelle », « les Vignes », « les Carrières », « la Promenade » ou « Tivoli ». Au fil des décennies, l’ensemble de ces lieux sont regroupés sous le nom de « Tivoli ».

Jadis, le territoire de Tivoli comportait uniquement un ensemble de jardins, vergers et potagers séparés par de petits murets. De petites constructions trônaient dans chaque parcelle afin d’abriter les outils de jardinage. Il est communément admis que ces jardins appartenaient aux habitants de la ville-haute de Montmédy. À défaut d’avoir une parcelle cultivable au sein des murs fortifiés de la place-forte, les montmédiens vont chercher des terres arables à proximité.

e lieu-dit « Les folies » est le point habité le plus haut de Montmédy. Il culmine à 292 mètres alors que la ville-haute est à 291 mètres. Deux hypothèses sont possibles quant à l’origine de ce nom. La première se réfère à son emplacement géographique. Durant la période médiévale, les lieux cultivés qui sont très éloignés des habitations, portent communément le nom de « folie » car y faire un aller-retour et y travailler était tout simplement de la folie. La seconde hypothèse remonte au XVIIIe siècle lorsqu’un certain Pierret construit un cabaret sur ces hauteurs dans le but de faire fortune. Malheureusement, les clients ne sont pas au rendez-vous et le cabaret tombe dans l’oubli. Pierret est moqué et raillé, il finit par tomber dans la folie. Par la suite le cabaret est démoli et ses pierres sont réemployées pour reconstruire d’autres bâtiments.