夏洛特家族 一般世族 文斯莫克家族 (天龍人or北海王族)
或地域小王國家族
↓ ↓
BIG MOM 香吉士老爸 (家族掌權者)
｜ ｜
｜女 ｜兒 ＼ 遭家族欺負、家暴
｜兒 ｜子 ↘ 而脫離家族的
｜ ｜ 香吉士老媽
↓ 結婚 ↓ ｜
布琳 ←────────→ 香吉士←────┘
帶著兒子離開王國
1.香吉士媽媽可能是爸爸的小妾，也因為是小妾所以可能在家族被欺負
2.因為從小看著母親被爸爸or親戚們欺負，所以他變成擁女主義者很保護女人
3.對於父親家族的不諒解，所以想遺忘掉過去的身世所以從來不提起
4.去見"那女人"，指的應該是BIG MOM，去跟她談條件
畢竟從這角度來看雙方家族的地位應該是相等的(甚至文斯莫克家族層級更高一些)
BIG MOM再怎樣不爽也不太可能殺他，原因如下
5.『怪槍』維特偷偷跟香吉士說得好事，有可能是BIG MOM查到他媽躲在哪裡或抓到他媽
之所以會說文斯莫克家族層級可能更高是因為他有說一句
「當然不想去也是你的自由」
這表示香吉士還是可以用他的命來抵死不從，可是BIG MOM手上有籌碼逼他一定要去
再加上一開始香吉士一群人被俘虜他還能跟城堡人討價還價的角度來看
目前看來是BIG MOM對於能跟文斯莫克家族達成聯姻是很開心的
以上是我的猜測