Isak Jensen er født i Gudhjem i en af byens mange fiskerfamilier. At blive fisker er formentlig også den mulighed, tilværelsen umiddelbart byder ham.
Mange af byens unge mennesker har haft Fæstningen Christiansø isom en anden mulighed. Isaks storesøster havde giftet sig med en soldat på Fæstningen og fået bopæl på øen. Hun får også plads til Isak i den lille bolig i kasernelængen , så han flytter ind hos hende og hendes mand og barn, da han er 14 år. Her optræder han første gang i kirkebogen, da han bliver konfirmeret i 1827. Det fremgår, at han har boet der siden nytår. Præsten tildeler ham bedømmelsen 'taaleli g god' i kundskaber og i opførsel 'meget god'. Aabenbart har han ikke brilleret i undervisningen. Han bor der stadig, da søsteren i 1831 får en datter mere og kort tid efter bliver enke. Isak er blevet ansat som soldat ved fæstningen, så de t har været ganske praktisk for både ham og søsteren. I kraft af barndommens oplæring i Gudhjem skaffer han lidt ekstra indtægter og mad på bordet ved at drive fiskeri ved siden af soldatergerningen.
Folketællingen 1834 fortæller, at han er 22 år gammel, er ugift soldat og fisker. Han bor i 'Kasernelængen nr. 11 på vestre side ovenpå' hos sin søster Anna Kirstine Jensen, der er enke og almisselem, og hendes to piger på 4 og 9 år.
Snart gifter han sig med Cicilie fra en anden soldaterfamilie i kasernelængen, der venter hans barn. De overtager boligen, som de beholder resten af deres tid på fæstningen. Isaks søster bor her ikke mere i 1840. Ved folketællingen i 1845 ha r Isak tilføjet efternavnet Holm. Det er hans kone Cicilies pigenavn, som hun har fra sin stedfader, Christen Holm.
I 1852 grundlægger missionæren Ryding en baptistmeninghed på Christiansø. Af folketællingen fra 1855 fremgår, at Isak er konverteret senere end Cicilie, da det kun er hende, der benævnes 'Baptist'. Isak og børnene er 'Lutheranere'. Ve d fæstningens nedlæggelse samme år flytter familien til Rønne, hvor de indgår i baptistmenigheden, og Isak får arbejde på Nordre Støberi. Stående lidt i skyggen af sin karismatiske hustru, Mor Isak, fik han blandt baptisterne betegnelse n 'en tavs mand'. Hans fortjeneste i baptistsamfundet har åbenbart især været at blive far til den navnkundige menighedsforstander i Rønne, Peter Andersen Holm.
