白居易生活的时代，是唐中后期，藩镇割据，虽然暂时处于平静状态，但是，暗流涌动，更大的风暴即将到来。
811年，白居易母亲去世，年五十七，白居易回到老家渭北下邽丁忧，守孝三年。
814年，丁忧结束，白居易回到长安，任太子官署的官员。
唐宪宗并不喜欢他，加之以前他任言官得罪了一些人，这些人对他群起而攻之，于是，816年，白居易被踢出京城核心圈子，被贬到江州，今江西省九江市，任江州司马。这一年，白居易四十四岁。
虽然是被贬，但是，一州的司马，权力不小，俸禄还是不错的，因此，一时之间，白氏的亲属们，纷纷投奔白居易，江州竟成了白氏家族汇聚之地。
首先，他的大哥白幼文，原为浮梁县（今江西省景德镇浮梁县）主簿，已经罢官，在故居符离县（今安徽省宿州市符离集）居住，赋闲，这一年已经六十余岁，带着儿子，前来投奔，希望白居易能提携自己儿子，以后儿子能有个好前程。
白居易在其他各地的孤幼堂弟姐妹侄子六七人，也纷纷前来投奔。
白居易给京城朋友写信《答户部崔侍郎书》，信中写道：“前月中，长兄从宿州来，有孤幼弟侄六七人皆自远至。日有粝食，岁有粗衣。饥寒获同，骨肉相保。”
817年，长兄白幼文去世，归葬老家关中渭北下邽。
818年，弟白行简，离开东川幕府，也来投奔白居易。
此时，全家只有白居易为官，有俸禄，因此，家族人等，纷纷来投，好在唐帝国实行厚禄政策，官员待遇还算不错，因此，白居易养活这一大家子，还是没问题的。在农业社会，官员的俸禄，还是管用，最起码饿不着。
一夜晚间，白居易送朋友离开江州，到了江边，下了马，上了船，正在饮酒叙谈送别，忽闻江上传来一阵琵琶声，颇为动听，顿时，白居易忘了下船，朋友也忘了出发，如此荒凉偏僻的江州，何来这么优雅动听的琵琶乐声？他们很好奇，于是便把船划过去，靠近琵琶声响那条船，询问谁是弹得如此一手好琵琶的好手，并且，添酒回灯重开宴，那弹琵琶的乐者，千呼万唤始出来，原来是一位半老徐娘。
她施展了高超的技巧，“大弦嘈嘈如急雨，小弦切切如私语。嘈嘈切切错杂弹，大珠小珠落玉盘。”
《琵琶行》
弹罢之后，双方交谈，原来双方都是来自京城长安的，他乡遇故知，顿时倍感亲切，琵琶女放下了心防，开始畅谈心声，她是京城长安人氏，家在虾蟆陵下住。此地现在还在，就在今西安和平门外一带。
她十三岁时，琵琶已经学成，并且才华出众，非常出色，名列教坊第一部，名声大噪，五陵年少争相捧场，每次演罢一场，捧场的绸缎不计其数。
五陵之称，来源于西汉，那时，皇帝去世，则围绕其陵墓，迁去权贵富豪之家，加以拱卫陪伴，建成大城，西汉有五座大城最为著名，规模皆与长安城相当，称为五陵。
这五座大城，分别是：汉高祖长陵县城，汉惠帝安陵县城，汉景帝阳陵县城，汉武帝茂陵县城、汉昭帝平陵县城，围绕着首都长安县城。
六大城，皆为人口二十余万，在当时都是繁华大都市。
都城长安有皇家，而五陵各城则是位于长安外围的富人区。五陵的权贵和富豪，称为“五陵豪杰”，而“五陵年少”，则是官二代、富二代、官宦子弟、富家子弟的意思。
“五陵豪杰”、“五陵年少”之称，一直延续到唐时期，而唐末五代之后，关中破败，形势发生剧变，沧海桑田，因此，明唐伯虎有诗云：不见五陵豪杰墓，无花无酒锄作田。
琵琶女年龄大了之后，行情转差，门前冷落鞍马稀，只得老大嫁做商人妇，而且，这个商人还是位来自偏远地方的外地人，她只得离开繁华的长安，跟着来到穷乡僻壤，没想到，商人却重利轻别离，不懂感情，经常让她独守空房，这不，又抛下她，去浮梁县做茶叶生意去了，琵琶女颇感惆怅，于是，夜晚在江上弹琵琶，抒发伤感之情。
白居易将此次经历，写成《琵琶行》，成为千古名篇。
白居易在诗中特别写道，“商人重利轻别离，前月浮梁买茶去”。特意写出浮梁，自然是因大哥白幼文曾在浮梁县做官，景德镇与九江相距不远，白居易想起去世的大哥，又多了一份惆怅。
琵琶女最后说道，“去来江口守空船，绕船月明江水寒。夜深忽梦少年事，梦啼妆泪红阑干”。夜里做梦想起年轻时在长安的往事，不由得哭醒。
激越的琵琶声回荡江上，白居易已经心有所动，又听了同为被踢出京城长安的琵琶女的遭遇，不由得写出“同是天涯沦落人，相逢何必曾相识”的千古名句。
琵琶女的弹奏，忽而激越悲愤，忽而如泣如诉，道尽人间苍凉，感动了在座所有的人，其中，白居易最为有感，“座中泣下谁最多？江州司马青衫湿。”
周秦汉唐，中国的中心一直在北方黄河流域，包括经济，而唐末五代大乱之后，经济重心才转移到南方长江流域，因此，唐时关中，为天下最为富庶繁华之地，而江州当时则是偏远落后的荒凉之地，并且还是文化沙漠，因此，白居易写道，“浔阳地僻无音乐，终岁不闻丝竹声。住近湓江地低湿，黄芦苦竹绕宅生。其间旦暮闻何物？杜鹃啼血猿哀鸣。岂无山歌与村笛？呕哑嘲哳难为听。”
久在文化荒漠，忽然听到来自京城的琵琶女的悠扬乐声，白居易又惊又喜，大为感动，“今夜闻君琵琶语，如听仙乐耳暂明。”
白居易是感情丰富之人，易于伤感，如此触动灵魂的一次经历，促使白居易写成了《琵琶行》，成为千古名篇，白居易去世后，唐宣宗写诗称赞他，特别指出，“童子解吟《长恨》曲，胡儿能唱《琵琶》篇。”
白居易回到京城后，一路顺遂，做到尚书高官，不过，病痛一直伴随着他，加上官场风云变幻无常，令他看破红尘，最终，白居易皈依佛门，一心只求往生兜率净土，他离世时，不归下邽祖坟，而是葬于他的佛门师父僧如满之侧，“永离生死流，终成无上道。” 白居易终于求得了终极的情感归宿。