Boston, som tidligere mandag blev bekræftet som vinder af Eastern Conference, så ud til at være på vej mod en sikker sejr efter at have trynet Atlanta med 44-22 i første quarter.
Celtics bragte sig foran med 30 point midtvejs i andet quarter, før Atlanta vågnede op og begyndte at æde sig ind Bostons føring.
Hawks fortsatte i anden halvleg og reducerede yderligere med 34-22 i tredje quarter, inden de udnyttede momentum i fjerde quarter til en dramatisk sejr.
De'Andre Hunter var Hawks' topscorer med 24 point, herunder en afgørende trepointscoring med 10 sekunder tilbage, som gav Atlanta et forspring på fire point og dermed sikrede sejren.
Hunter blev understøttet af 22 point fra Bogdan Bogdanovic, mens Dejounte Murray sluttede med 19 point, 15 assists og fem rebounds.
Hawks-træner Quin Snyder roste den fornemme støtte fra hjemmepublikummet i Atlanta, som var med til at drive hans hold til en den bemærkelsesværdige sejr.
"Den måde, vi startede kampen på i aften, og den måde, Boston startede på, deres energi gav os virkelig et løft," sagde Snyder om Atlanta-fansene.
"Når man er så meget bagud, skal man have noget ud over det sædvanlige for at komme tilbage i kampen, og når man har en gruppe mennesker, som man ved står bag en i tykt og tyndt, regn eller solskin - og der var meget regn tidligt - var de en stor del af det, der fik solen til at skinne i aften."
Atlanta forbedrede sin record til 32-39 og forbliver på 10. pladsen i øst, på kurs mod en plads i play-in-turneringen.
Celtics' træner Joe Mazzulla sagde, at hans hold betalte prisen for ikke at have afgjort kampen, og tilføjede, at Atlantas fysik havde givet hans hold problemer i anden halvleg.
"Det er en god lektie," sagde Mazzulla. "De skal have ros for at kæmpe sig tilbage.
"Jeg synes, at deres fysik - de var ekstremt fysiske, så snart bolden kom forbi halvbanen. Jeg synes, det ødelagde vores angreb, og de fik os til at arbejde for alt."
Celtics-stjernen Jayson Tatum havde ingen undskyldninger efter nederlaget.
"Det er hårdt, man vinder ikke hver eneste kamp, man spiller," sagde Tatum. "Vi var meget foran, men vi gjorde ikke de ting, vi skulle gøre for at vinde.
"Nøglen er ikke at overreagere. Tage det i stiv arm og gøre os klar til (den næste kamp)."
Andetsteds leverede Donte DiVincenzo en masterclass i trepointsskud, og sluttede med karrierens bedste 40 point, da New York Knicks fortsatte mod slutspillet med en 124-99 sejr over ligaens dårligste Detroit Pistons.
DiVincenzo scorede 11 ud af 20 uden for buen, kun tre fra Klay Thompsons rekord på 14 i en enkelt kamp, som blev sat i 2018.
Jalen Brunson tilføjede 28 point, da Knicks forbedrede sig til 43-28 og forblev på fjerdepladsen i øst.
I San Antonio lavede Phoenix Suns-duoen Kevin Durant og Devin Booker tilsammen 65 point, men det var ikke nok til at forhindre Spurs i at vinde en overraskende sejr på 104-102.
Jeremy Sochan og Devin Vassell sluttede hver med 26 point, da San Antonio, som ligger i bunden af Western Conference, vandt deres blot 16. sejr i sæsonen.
I den modsatte ende af Western Conference vandt Denver, som ligger på førstepladsen, 128-103 over Memphis Grizzlies og kom dermed tættere på førstepladsen.
De forsvarende NBA-mestre vandt en let sejr, hvor Nikola Jokic endnu en gang førte an med 29 point, 11 rebounds og otte assists.
Nuggets fører Western Conference med 51-21, en sejr foran Oklahoma på andenpladsen (49-21).
I Salt Lake City tog Luka Doncic sin 19. triple-double i sæsonen og sluttede med 29 point, 12 rebounds og 13 assists, da Dallas Mavericks vandt 115-105 over Utah Jazz.