罗贵等人南迁的原因，曾经有一个流传甚广的传说。大意是：宋末有一位胡妃（别书记作苏妃），因触怒皇帝被贬入冷宫。她从宫中逃出，扮作民妇到河边寻船，适逢珠玑巷财主黄贮万运粮到临安，船泊码头，黄见胡妃貌美，收留为妾，隐姓埋名带归南雄。皇帝发现胡妃失踪，降旨兵部缉查。查了一年无结果，兵部便谎报胡妃已死。几年后，黄家一仆人因过失受主人责罚，怀恨于心，就向官府告发黄贮万收藏胡妃有罪。兵部官员闻知，惧被劾为欺君，便隐匿不奏。为灭口起见，乃禀告皇帝说珠玑巷有匪情，请准许建寨驻军，意欲借此平毁该村。幸好珠玑巷有人在京为官，急忙通风报信。罗贵等见大祸临头，马上申请南迁。胡妃怕连累众人，遂投井自尽……
    这一传说被载入许多家族谱中，因而得到广泛的流传，但是据暨南大学历史系陈乐素教授考证，此说是不可信的。一是宋代并未有贵妃逃走出宫的记载；二是各家族谱对此事发生年代的记载出入很大，有说在绍兴年间，有说在德祐年间，相差一百多年；三是文章中使用了明朝以后才出现的官衔和地名，显然是明代以后的人根据传闻所记，不能认作信史；四是它解释不了何以在罗贵南迁之前几年珠玑巷人已纷纷南迁的原因。故此，只能以传说视之。不过，由于传说具有传奇性的故事情节，为文学界与旅游业界更乐于采用，所以现在的珠玑巷除了保存胡妃塔、胡妃井古迹以外，更新建了胡妃纪念馆。
    经过对复杂史实的梳理，我们可以知道：从中原迁到珠江三角洲，先民们经过了漫长的历程。南宋初年，因避金兵侵犯而自中原迁到南雄。过了150年左右，至南宋末年，又因避元兵侵犯而自南雄迁来珠江三角洲。以后经过元代约100年岁月，至明代前期，他们在珠江三角洲各县扎下根来了，各姓才纷纷编写族谱。这时距中原南迁约300年左右，距珠玑南迁也100多年了。编族谱者对往事已难逐一查考，故采纳了一些传说。而且他们对中原祖居地已经淡忘，因而把第二故乡南雄看作是“根”之所在，也就合乎情理了。