Au VIIIe siècle le hameau de Fahy faisait partie du Saint Empire romain germanique fondé par Charlemagne (742-814). Il y avait déjà une chapelle à Fahy en 1177 qui dépendait de Grandfontaine et appartenait au prieuré de Lanthenans. Cette filiation a été consacrée par le pape Alexandre III jusqu'en 1802. Fahy, au point de vue administratif et légal dépendait de la mairie de Bure. La mairie de Bure-Fahy passera en 1377, aux mains des évêques de Bâle et des comtes de Montbéliard.
La commune revient sous la crosse de Bâle en 1461 après le rachat de l'Ajoie par l'évêque Jean de Venningen. En 1474 fut une époque d'incendies et de ruines. Après la mort de Pierre de Hagenbach, gouverneur d'Alsace et de Ferrette, son frère Etienne de Hagenbach envahi les territoires alsaciens et met tout à feu et à sang. Il massacrait les habitants et les accrochait aux arbres.
En 1475 ce fut la bataille de Blamont, les Suisses, les Alsaciens et les Autrichiens traversèrent de nouveau la région en brûlant et détruisant tout. En 1522 la peste ravagea le village et les habitants durent le quitter pour un certain temps. De 1792 à 1793, Fahy appartenait à la République rauracienne rattachée à la France et en 1793 au Département du Mont-Terrible. Après la bataille de Leipzig en 1814 où l'armée française fut battue par les Alliés, Fahy fut attribué au canton de Berne.
