Korábban már tudni lehetett, hogy a költő beteg, sőt nagyon beteg, de ahogy ez lenni szokott, a halálhír mégis készületlenül ért mindenkit. Arany egészsége fokozatosan rendült meg. Évekkel korábban már krónikus fejfájás kínozta, kínlódott a májával, az epéjével, gyakran vett többhetes ivókúrát Karlsbadban. Ennél is nagyobb csapás volt, hogy megromlott a szeme, így nem tudott annyit olvasni, amennyit szeretett volna. Aztán a hallása is gyengült, ez akadályozta a beszélgetésben, a társasági életben. Rosszkedvű lett és visszahúzódó.
Októberben megfázással, hörgőgyulladással dőlt ágynak, a városi legenda szerint Petőfi szobrának avatásán fázott meg. Így volt, vagy nem, nem tudjuk, de betegágyából már nem kelt fel. Október 22-én délben halt meg az Akadémia épületében lévő szolgálati lakásában.
Ezt a szolgálati lakást már aznap, az Akadémia ülésének frissen meghozott határozata értelmében felajánlották özvegyének élethosszig tartó használatra. A Lónyay Menyhért vezette ülésen azt is eldöntötték, hogy felajánlják az épület oszlopcsarnokát a gyászravatal számára, és gondoskodnak a díszítésről is. Határoztak közös koszorú küldéséről és arról, hogy a köztestület nevében Szász Károly mond majd beszédet. Nagy feltűnést keltett, hogy erre az alkalomra eljött Jókai Mór is, akit pedig évek óta nem láttak az üléseken. Ekkor olvasták fel Ferenc József Tisza Kálmán miniszterelnöknek küldött táviratát, melyben a király arra kéri, fejezze ki részvétét az ő és Erzsébet királyné nevében a családnak. A walesi bárdok írójának.
Gyászlobogót a házakra! – adták ki a jelszót a lapok, és valóban fekete lobogó került a színházakra, a kaszinó épületére, az egyetemi és törvényszéki épületekre, és több magánházra.
A temetésre már két nappal később, október 24-én sor került. A gyászjelentést is az Akadémia küldte ki, abból lehetett megtudni, hogy a gyászszertartás délután 3 órakor kezdődik.
Már 1 órakor gyülekezett a tömeg az Akadémia körül, a környékbeli és a menet útvonalán lévő boltokat szinte mind bezárták. Szép idő lett, pedig két napon át esett előtte az eső. A tömeget rendőrök felügyelték, de így sem volt könnyű rendet tartani, hiszen sorra érkeztek az újabb küldöttségek a Nemzeti Színház művészeitől az ipartestületek és az orvosnövendékek képviselőiig. A család pontosan 3 órakor érkezett emeleti lakásukból a ravatalhoz. Arany Jánosné a fiára és vejére, Szél Kálmánra támaszkodott, velük volt még az unoka, Arany Piroska és a költő menye, Arany Lászlóné.
A ravatalnál Török Pál református lelkész, az Akadémia nevében Szász Károly, a Kisfaludy Társaság nevében pedig Gyulay Pál beszélt. Szász idézte fel Arany Jánosnak Széchenyi halálára írt sorait, amelyek most a szerzőt dicsérték: „Nem hal meg az, ki milliókra költi dús élte kincsét, ámbár napja múlt…”
Hat fekete lovat fogtak a gyászkocsi elé, a sok koszorú egy másik, fehér lovak vontatta kocsira fért fel. Így indult el a menet a temető felé. Az esemény sokakban felidézte Deák Ferenc 1876-os ugyancsak hatalmas temetését, amikor a menetben még Arany is ott lépkedett. Azt is mindenki látni akarta, és nemcsak az utcák, de a menet útvonalán álló házak ablakai is megteltek. Volt, aki 30-40 forintot fizetett egy lakástulajdonosnak, csak, hogy ott állhasson az ablakban.
A menet két óra alatt ért a temetőhöz, addigra teljesen besötétedett. A koporsót a sírkert keleti felén eresztették a földbe, nem messze Vörösmarty végső nyughelyétől.
A temetés után már megindult az adakozás, hogy a költő méltó síremléket kapjon. Az emlékművet Stróbl Alajos és Kalina Mór tervezte, és Arany kívánsága szerint a Margitszigetről hozott tölgyeket ültettek mellé. Három évvel később ebbe a sírba temették özvegyét, Ercsey Juliannát is, majd később a fiát és unokáját is.