古巴国人遗民、古庸国人遗民、古楚荆湘地区的遗民是土家族的早最的雏形，这些国家灭亡后，子民还是在这个区域生活。由于湘西、鄂西、巴东是离中原最近的山区，中原汉族一遇战乱就迁徙，一部分南迁，另一部分就进入了这一山区生活。
土家人是古国遗民，不会像苗人那样拒绝容纳汉人，所以土家族与外来的汉人大量的混血融合，早期是融合中原、燕赵、关中逃难过来的北方汉人，元明清时融合安徽、江西移民过来的南方汉人，并且融合的历史长达2000多年。居住在与苗族相邻地方的土家人又会有点苗化。
土家族语言是古巴国土话，土家人因为很早就和汉族融合，所以大部份土家人在汉代就说起了汉语，明清时说起了西南官话，也有极个别的土家人生话在极度闭塞的深山苗区，不与外界汉人联系，也不与汉族融合，甚至都不与汉化后的土家人通婚，所以还是保留了古巴国语言。
土家族在融合时保留了当地的巴楚文化基因，又有一点苗人的风格，山区闭塞贫瘠。因常起战事，所以勇武好战，生活风气也有些粗鄙，民俗即独特又多元，常被山外的汉人误称“土蛮”。由于土家人的服饰与客家人十分相似（除了头饰），所以苗族也一直认为土家族是客人。
