1850 bor han i fattighuset sammen med sin mor, sin mormor, storesøster og fætter Niels Hannibal, som er hans moders plejebarn. Husstanden består tillige af fire kvindelige almisselemmer mellem 50 og 80 år.
1860 er husstanden skrumpet ind til hans mormoder, moder og søsteren foruden ham selv.
