Der berühmteste Gefangene war zweifelsohne José Custodio Faria, den Alexandre Dumas mit seinem Roman „Der Graf von Monte-Cristo“ unsterblich gemacht hat. Man sieht noch immer das Loch, das Edmond Dantès in die mauer einer der Gefängniszellen gegraben hat. Das Gefängnis verlor nach der Inhaftierung der Aufständischen im Jahr 1848 und der Anhänger der Pariser Kommune im Jahr 1871 an Bedeutung und wurde 1890 der Öffentlichkeit zugänglich gemacht. Das Château d’If kann heute dank einer regelmäßigen Fährverbindung besichtigt werden.