在赵家乡境内，有四个大小不一的山堆连城一片，叫做鲁班岩，山下有一条河，河边有个像船一样的石头，传说，这些都是很久很久以前鲁班师傅留下的。
鲁班师傅晚年的时候收养了一个徒弟叫赵巧，赵巧非常聪明，把鲁班师傅交给他的技术学得精通娴熟，渐渐的觉得自己超过了鲁班师傅。认为只有打败了鲁班师傅他才能做“天下第一巧匠”。
鲁班认为乌江向酉阳、彭水方向流太远了应该向贵州道真经赵家乡到涪陵汇入长江会近很多。所以鲁班决定修一条河，有天鲁班借着明月的光辉来到道真，赵巧悄悄的跟在鲁班身后，只见鲁班拿出墨斗，在石头上拉好墨线，一弹，那石头就像切豆腐一样整整齐齐地裂开来。不一会儿，就开出了许多的石条，赵巧看得眼珠子都红了，又是妒忌又是怨恨，认为鲁班对他藏私了，想到此处，恨不得上前，把那墨斗踩个粉碎。就在赵巧无计可施的当儿，鲁班把一只牧羊鞭挥得啪啪响，嘴里吆吆喝喝，那些石块就似听话一般，应声排成一列，浩浩荡荡地向前走去。当鲁班赶着石头转过一个山脚， 赵巧跳了出来，正好有些内急，瞅瞅四处无人，就解开裤带往那墨斗里方便起来。
一阵青烟散过后，那墨斗还是墨斗，赵巧捡拾起来，拉出墨线，往石头上一弹，只留下一道浑浊的黑线，赵巧放了心，欢喜地抄近道去追鲁班。
鲁班还赶着石头朝前走，前面来了一个老乞丐。鲁班上前作了个揖，问：“老人家看见我的羊群了吗？”老乞丐一副装聋作哑的样子，鲁班又大声说：“老人家，我问你看见我的羊群了吗？”鲁班以为他使了法术，别的人会把石头看成羊，没想老乞丐猛摇着头说：“哪里什么羊啊？全是一堆石头！”他话一出口，鲁班就知道糟了，果然，无论他怎么吆喝，那些石头就跟死了一般，一动不动，他叹了口气，只好返回另想办法。
鲁班来到工地上，才发现他的墨斗也不灵验了。他想也许是坏了吧，又叹了口气，只得掀开衣襟，包了一堆石屑，往修桥的地方赶。他刚走到半路上，就听见对面山头，传来一阵阵“扑噜噜”公鸡振翅的声音，接着就听见“喔喔”的鸣叫。鲁班抬头望天，明月还在，青辉辉的，他长叹一声：天意啊！天意啊……边说边把衣襟里石头块，撒倒在路边，从大到小，正好四堆。后来，那些石屑就化成了四个山包，人们叫做鲁班岩。
这个传说是否真实，有待考究，但那一层层堆积起来的石头，虽被风雨侵蚀得有些斑驳。但看那别致的形态，依然是游客来到赵家乡必去的一处景点之一。
