Первое предложение о строительстве форта в этом месте было сделано еще в 1666 году, после постройки военной верфи в Рошфоре, но Себастьян Ле Претр де Вобан возразил Людовику XIV, сказав: «Сэр, легче ухватиться за луну зубами, чем построить крепость в таком месте»

Строительство форта было начато в 1801 году при Наполеоне I, форт предназначался для защиты побережья и военных верфей в городе Рошфор (Rochefort) от возможного нападения британского флота. В то время дальнобойность артиллерийских орудий была небольшой, а расстояние между двумя смежными островами было слишком велико, чтобы пушки береговых батарей могли блокировать пролив.
В качестве места для строительства форта была выбрана уже существующая в проливе песчаная отмель, от названия которой и происходит название самого форта.
Строительство форта осуществлялось установкой каменных блоков непосредственно на морское дно. В связи с возникшими техническими трудностями (каменные блоки уходили в грунт под собственным весом) строительство крепости было приостановлено в 1809 году. Строительство возобновилось в 1837 году во время правления Луи-Филиппа I когда отношения с Великобританией вновь стали весьма напряженными. Строительство форта было завершено к 1857 году.
Форт имеет 68 м в длину, 31 метр в ширину и стены высотой в 20 м. Гарнизон форта Байяр состоял из 250 человек.
Однако к моменту завершения строительства форта дальнобойность артиллерийских орудий сильно увеличилась и необходимость в форте отпала.