I søknadsprosessen opplyste han også om flere reiser tilbake til Polen i årene mellom 1900 og 1936. Under et besøk i hjemlandet i 1910 giftet han, og året etter fikk han datteren Michela. Åtte år senere døde hans kone, men datteren ble værende i Polen. Hun kom aldri til Hammerfest hvor hennes far bodde hele sitt voksne liv. En del informasjon om Goldmanns forhold til datteren kommer fram i søknadspapirene om oppholdstillatelse fra 1936. Han skattet i klasse 2 fordi han understøttet sin datter i Polen, og saksbehandlerne stusset over dette. Han ble bedt om å framvise datterens dåpsattest, samt å oppgi hvor mye han sendte til sin familie i Polen. Sentralpasskontoret har ingenting å innvende mot at han får statsborgerskap, men i dokumentene kommer det tydelig frem negative holdninger mot jøder. ”Pm. Vet intet å innvende mot søknaden utover at jødiske kjøpmenn ikke er ønskverdig”. En annen plass står det; ”Det er så vidt mange dunkle eller direkte usympatiske sider ved søkeren at jeg antar at søknaden bør avslås hvis søkeren ikke kan gjøre skikkelig rede for at han fremdeles er lignet etter formue 0.” I samme dokument er han omtalt som ”Klæsjøden”.
Dette usympatiske inntrykket av Isak Meyer Goldmann stemmer ikke overens med hammerfestingers minner om ham. Han blir omtalt som en sympatisk, men tilbaketrukket mann som folk likte å handle med. Han delte sannsynligvis lite av sitt personlige liv med kundene, for ingen visste om at han var enkemann og hadde en datter i Polen.
Han holdt kontakten med datteren i Polen gjennom brevveksling og jevnlige forsendelser med penger. Han må ha fulgt utviklingen i Europa med redsel for familien i Polen, for i mars 1939leverte han en søknad om oppholdstillatelse for datteren og barnebarnet i Hammerfest. Dette dokumentet har en annen tone enn de dokumentene som omhandlet søknaden om statsborgerskap. ”Det er formentlig ikke noe ubillig ønske at far og datter har lyst til å få anledning til å være sammen noen tid. Goldmann bor jo alene som enkemann uten noen av sine omkring seg.” Videre skriver saksbehandleren: ” I anledning denne søknaden henviser jeg til alle de utlenninger som i den siste tid ifølge dagspressen har fått både innreise- og oppholdstillatelse i Norge. I en rekke tilfeller formentlig til trengsel for norske borgere, og med direkte utgifter for Den Norske Stat. I dette tilfellet vil bankgarantien gardere Stat og kommune mot ethvert økonomisk tap, og noen arbeidstillatelse blir det ikke tale om. Det er her kun spørsmål om en gjestevennlighet som jeg mener vi verken har lov til eller kan avslå. Jeg tør derfor henstille til det ærede formannskap at søknaden blir anbefalt.”
Om søknaden ble innvilget vet vi ikke, men Michela kom aldri til Hammerfest. Derimot klarte Isak Meyer Goldmann å overtale datteren til å dra til Jerusalem. ”Det er ikke lenger trygt i Polen, Noe grusomt kommer til å skje og dere har ikke mer enn tiden av veien”, skrev Goldmann gjentatte ganger til datteren sin. Michela planla først å dra alene til Palestina for å etablere seg, for så å hente datteren. Da Goldmann fikk vite om denne planen, sendte han straks et brev med billetter til dem begge ut av Polen, med beskjed om at de måtte komme seg bort snarest. Michaela og datteren reiste sammen til Palestina i slutten av august 1939. Noen dager senere ble Polen invadert. Hele Michelas resterende familie ble myrdet i invasjonen. Hun fortsatte å holde kontakten med faren fra Palestina, der hun ble boende i sikkerhet med datteren sin. Helt til et av brevene hun hadde sendt kom i retur. På konvolutten stod det ”Adressaten er død”.
Som så mange andre jødiske menn, kvinner og barn ble Isak Meyer Goldmann arrestert høsten 1942. Det har blitt fortalt at han forsøkte å flykte unna, men ble arrestert i Karasjok under fluktforsøket. Tidsvitner i Hammerfest husker bare at han plutselig var borte. Da han ble arrestert hadde kjøpmannen Isak Meyer Goldmann bodd i Norge i 42 år, de siste 14 årene i Hammerfest. Han ble deportert fra Oslo til Auschwitz den 26. november 1942 med M/S Donau.
Ved ankomsten til Auschwitz ble han henrettet i gasskammer, den 1. desember 1942.
