吳耀漢出身於富裕家庭，父親吳海霖為九龍巴士及九龍殯儀館的創辦人之一，當年還有一夫多妻制，吳父有四名太太、十六名子女，吳耀漢排第八，為二房幼子。 由於母親一早離世，跟兄弟姊妹又不親近，加上被送往英國留學十分孤單，吳耀漢19歲時跟外藉初戀女友交往，兩年後更不理父親反對堅持結婚，結果父親決定「斷糧」不再經濟支持。
為了愛情放棄麵包，吳耀漢只能夠自力更生，但婚後方發展跟太太並非真愛，他受訪時曾表示：「那時覺得好愛這個女人，初戀嘛！其實只是性ai滿足，不是真正愛情，半年後就離婚」。
吳父一早看得通透，可惜到吳耀漢醒覺時，吳父已離世，當時吳耀漢窮到連機票都買不起，未能返港送父親一程。
吳耀漢本來在英國大學修讀牙醫，讀了一年便轉往咸斯特戲劇學院攻讀戲劇，演出BBC劇集時認識了現任太太，二人於1965年結婚，婚後育有三女一子，他兒子吳嘉龍也是圈中人，其兩個女兒則在2021年曾涉毒被捕。
