首先：他已经前往了伟大航路但是又回来了，海贼里的正面人物里没有一个是进入伟大航路后半途而废的吧？
其次：他回来的理由太过勉强
③：在他对香吉士的态度中，看出不仅仅是看中他，更像是在训练他
④：他是在遇见香吉士之后开的餐厅大隐隐于市了。
所以我觉得卓夫乃受人之托带香吉士离开，而托付之人必然跟香吉士身世有关，否则在尾田笔下不会刻画这种伟大航路半途而废的情节。