一天中午，烈日当头，人困马乏，又饥又渴，快要绝望时，却意外的发现了沙漠那边有胡杨林，在阳光下的流水反射出耀眼的光芒。

人们欣喜若狂，飞奔而去。

主见那里有广阔的草地、茂密的树林、潺潺的流水，远离了人群、远离了战争，这就是“刀郎人”梦想中家园的样子。

于是他们用胡杨和芦苇建造简单的房屋，狩猎野兽，下河捕鱼。

传说当时因为那里荒无人烟，河水里有很多大头鱼，行动迟缓而肥硕的大头鱼。

“刀郎人”点燃成堆的枯枝朽木，销尖了头的红柳枝穿上兽肉、鱼肉烧烤而食，省却了锅灶之烦，而且随时随地就可以餐食。

他们在杳无人烟的荒漠旷野，或步行，或赶着古老的木轮牛车，奔波于大漠风沙之中。

因为孤苦寂寞，便随心所欲、无拘无束地引吭高歌，以表达自己的心境，驱散孤寂。歌声粗犷而舒缓，带着几分沙哑。

他们在叶尔羌河下游平原荒无人烟的大漠胡杨林里，过着自由自在的迁徙流浪生活，“刀郎”的称谓就是在那时有的。

后来，越来越多的流浪者听说了这个神奇的地方，不同地方、不同民族的人渐渐加入了他们的行列，“刀郎人”不断壮大。

人们虽然不同民族，但都是穷苦人，同命相怜，虽然互不认识，却格外亲切。

他们同舟共济，互相帮助，形成了善良、仁慈的品性。

在那种恶劣的自然环境中，也只有人多力量大，才能生存下去。

当人的生存条件都没有保证时，阶级也就不存在了。

由于生存环境十分艰难，又远离等级社会，省却了许多忌讳和繁文缛节，妇女也和男子一样参加各种劳动，她们不须戴面纱,就是宗教人士也都参加劳动。

“刀郎人”大多是下层劳苦人民，加之流浪到荒野丛林，缺乏维系生活的物质，几乎退到原始社会，为了生存，只有艰苦奋斗。

再后来，由于“刀郎人”中发生了一些变化，他们放弃了原来的居住地，开始向附近地区迁徙，他们依水而居，沿着叶尔羌河流域四处搬迁。

从阿克苏的卡热塔勒（现在的哈拉塔）向西南的阿瓦提县上的上刀郎乡、下刀郎乡及阿克苏市等地都分布了刀郎人的后裔。

他们与当地土着居民相互融合，繁衍生息。

在漫长的岁月中，刀郎人在远离人世的荒漠旷野、原始胡杨林中狩猎游牧，或从事落后的农耕，与大自然作着不息的抗争，过着艰苦的生活。

在此安家落户的“刀郎人”渐渐繁荣兴旺起来，他们占有的范围不断向四方扩大。

这时，为了避免北边外族人越过河，占领他们新的绿洲，他们呼唤散失在其它地方的同族人来这里生活。

后来迁移的“刀郎人”被安排在阿瓦提县城的河边。

他们开垦土地，耕作农田，利用叶尔羌河的洪水来灌溉和发展牧业。

叶尔羌河流域为刀郎人提供了牧业发展的一片辽阔草地，这样的环境条件有利于从事牧业，使他们形成了农业为辅，牧业为主的生产方式。