穆念慈知道杨康在监狱里自杀之后，也就一病不起，不久之后也离开了人世。十四五岁的杨过顿时成了孤儿，被送到了孤儿院。
郭靖在知道杨康和穆念慈的死讯后第一时间为两人料理后事，并开始寻找杨过。三个月后，郭靖和黄蓉终于把在孤儿院里的杨过接回了家。当杨过站在气派的别墅玄幻处打量时，也有三个孩子在楼梯间偷偷的观察他。他们就是郭靖的千金和管家武三通的一对双胞胎儿子。他们看到杨过像刘姥姥进大观园的样子，心里就充满了鄙视。

杨过因为家庭的遭遇和在孤儿院里三个月的生活，让他的心里变得异常敏感，没有安全感，对周围都充满防备。所以，杨过看到三双“不友好”的眼神，就把保护自己的面具给带上了，高傲的看着他们三人。这时郭靖叫他们三个过来，并告诉他们这是杨哥哥，以后要和哥哥好好相处，并特意告诉郭芙这杨叔叔的儿子，以后要把他当做亲哥哥对待。郭芙这才仔细打量了杨过，发现他长的挺好看的。心里想着有这样一个哥哥也挺好的，又有一个人宠爱自己了。

郭芙美滋滋的想，但是事实却不是这样。郭芙从小被宠爱的像个公主，刁蛮任性，稍有不顺就大发脾气，杨过高傲又自卑，一直觉得郭芙看不起他，俩人一见面就是争吵不断，再加上大小武的火上浇油，家里简直是鸡飞狗跳。偏偏黄蓉这时候又有身孕，实在受不了他们，便和郭靖商量把杨过送到郭靖的恩师家里。恩师德高望重，定会教导杨过好好做人的。恩师的俩个孩子都还没有成家，看到有了一个大孙子自是十分欢喜，但不想恩师的大儿子赵志敬确是心胸狭窄之人，看到老爷子对杨过的喜爱，怕老爷子将来会给他分财产，处处针对杨过。终于有一次赵志敬诬陷杨过偷了他的东西，俩人大闹一场，杨过离家出走了。恩师觉得面上无光，不敢对郭靖说实话，对于郭靖想见杨过的要求一次次的搪塞过去。

再说杨过离家出走后，想回郭靖家，怕黄蓉不待见，所以漫无目的的在街上走着，天公不作美，下起大雨，杨过走的又累又饿，终于倒在一家门前。这家主人是一个十七岁的小姑娘，她也是自幼父母双亡，被孙奶妈照顾长大，但是现在奶妈年纪大了，而小姑娘的姑姑李莫愁又对小姑娘的遗产虎视眈眈，真在计划着要送小姑娘出国，苦于小姑娘无人照顾，杨过就送上门了，孙奶妈问了杨过的意思，杨过心想在这里也没有什么可留恋的了，还不如出国去和小姑娘做个伴，也算是报答了孙阿姨的恩情。