发展

在家光刚迁入芦田庄不久，即发生了 保元之乱（1156）源氏井上党在各地都训练家众，成为地方上的小豪族。 平治之乱 源义朝为平氏所灭，赖朝流放 伊豆，平家进入鼎盛时期，各地的源氏纷纷处于被压制的状态，芦田家光在此时也不得不忍气吞声。

承治四年（1180），赖朝为源氏再兴而起兵，文治元年（1185）平家被灭，芦田一党也抓住机会，扩大自己的领地。家光的儿子道家，凭借自己的军事与政治才干、以及源氏族人的支持，把势力由原来的水上郡向天田、何鹿、船井三郡扩张，不久就占据了丹波半国。经过芦田道家、忠家、政家三代的经营，芦田家终于确立了 丹波强豪的地位。

强大

到了政家孙子为家时，建保三年为家和父亲朝家迁往赤井野，在赤井野的南山定居筑后屋城，就以当地的地名赤井作为苗字。为家有两个儿子，长子家义继承父亲后屋城，而次子重家，则迁往 朝日村，以荻野为苗字。

而后到了南北朝时期，赤井基家出仕 足利尊氏，军功显赫。在《太平记》记载的十名丹波有名望的武士中，就有相关赤井基家的记载“在 九州多多良浜的战斗中，基家高举 足利军旗，杀入敌阵，后又高举军旗而返”。同时，在南北朝军记《梅松论》以及洞贤公卿的日记《园太历》中，都有有关赤井氏的记载。赤井氏在当时已经是丹波乃至 近畿地方相当有名的武家了，但是赤井氏在南北朝时期的居城史学界却一直有争论，是一个疑点。

史书资料

赤井家名正式在史书上出现是在大永六年（1526）七月。当时掌握 幕府实权的是 细川高国，而波多野秀忠、 柳本贤治、香西元盛三人是细川高国的近侍。与高国一系的细川贤政的养子细川尹贤进谗言使元盛自杀。愤怒的秀忠和贤治回到丹波，暗通高国的对立者 细川晴元。高国同年11月以尹贤讨伐贤治和秀忠。贤治退守神尾寺，秀忠从八上城出兵援助，同时新乡的赤井五郎（伊贺守忠家）带兵2000援助贤治，从神尾寺包围军的背后攻击。激烈的战斗后，赤井方亡200，尹贤方300讨死，尹贤向京都方向败退。《细川两家记》和 山科言继的日记《山科卿记》对此战均有记载。这也是赤井做为家名最早的记录。

神尾寺城之战过后， 细川晴元和丹波军已经阿波上陆的三好政长的军队一起在第二年（1527）的京都桂川之战后，成功地控制了京都。但是从那以后，赤井作为家名出现不多，正式的文书中多用芦田作为家名。赤井直家在给柏原八幡的信中署名是芦田源太郎兵卫直家。时家在给京都宝镜寺的信中也以芦田兵卫大夫署名。在以后给 织田信长和 德川家抗的信中，也都以芦田家作为家名。在正式文书中以芦田作为家名是因为赤井氏一直认为自己是芦田本苗的嫡流，作为清和源氏的子孙无比荣耀。

神尾寺战之后，赤井氏借势又把何鹿郡收入手中，当时已是掌握两郡的豪族了。

失势

高国在亨禄四年（1531）与 细川晴元的 三好元长军在天王寺附近的 尼崎城开战，兵败自杀。天文元年（1532），失势的流浪中的 细川高国的养子细川晴国不得以，只能投靠丹波的 波多野氏。丹波的守护 细川氏身兼丹波、摄津、和泉和四国等国守护。管领家内部争斗不断，自从 细川政元死后，儿子与养子为争夺管领之位不断争斗，终以晴元的获胜而告终。而丹波、摄津领内的众多豪族则依势两边倒，不断相互攻伐。

衰败

天文二年（1533），细川晴国奉 波多野氏之命对臣从于晴元的赤井忠家的穗平发起进攻。与赤井氏一起守城的还有晴元的家臣赤泽藏人景盛。在赤井氏的坚守下，攻城失败了，但忠家却在战斗中身亡。同年十月，退却的波多野军再度笼城。城破，赤泽景盛被讨死，船井郡八木城丹波守护内藤国贞虽赶来援助，也被击败，整个丹波落入 波多野氏之手。

在本城穗平城被占领后，时家、家清父子投靠了 播磨别所氏。为了细川领内的安定。 细川晴元与将军义晴和解， 波多野氏令 细川高国自杀，同时也返回到晴元的一方。一直支持晴元的赤井氏在丹波的领地也得到恢复，时家返回丹波，在乌帽子山附近筑城，最为进出天田郡的据点。

晴元政权并没有安泰多久，细川尹贤的儿子 细川氏纲以高国的继承者自居，在天文十二年（1552）细川两流矛盾激化，由于氏纲成功地寝返了晴元方的 三好长庆，终于获得胜利。

弘治元年（1555）晴元一方的赤井一族同氏纲方的芦田 足利军（此足利并非清和源氏足利，而是藤原足利，丹波豪族）在香良川大决战。赤井方时家的长子家清和次子直正在河的南岸，芦田 足利军在北。此站后芦田 足利一族36人讨死，赤井方家清重伤，直正身负12处伤归来。 弘治三年（1558）二月，家清伤重死去，年仅33岁。家清死后儿子五郎年幼，便由早先过继给同族荻野氏的弟弟直正代理 家督，由于长年的战争，赤井家负担很重，领地也只有原先的水上一郡了。

丹波的红鬼—赤井直正

赤井直正是赤井时家的次子，又名恶右卫门，早年过继给同族的荻野氏做养子，由于本家的长子家清早亡，又恢复本姓赤井。在获得了赤井本家族人的支持下，杀了养父荻野伊予守（其实按辈分算应该是叔叔）成为 黑井城的城主，是 下克上的典型。