Boston havde set ud til at cruise mod deres syvende sejr i træk efter at have domineret Milwaukee i lange perioder i TD Garden.
Celtics udnyttede fraværet af Bucks' skadede talisman, Giannis Antetokounmpo, og bragte sig foran med 21 point i slutningen af tredje quarter, efter at Milwaukee var kommet op på fem point lige efter pausen.
Men en forrygende præstation i fjerde quarter af Milwaukee skabte en nervepirrende finale, før Boston sneg sejren hjem.
"Det var grimt," indrømmede Tatum. "Vi spillede ikke, som vi gerne ville i fjerde quarter, og de løb fra os."
"Ingen føring er sikker i NBA. Men en sejr er en sejr, og vi tager den."
Boston forbedrede sig til 55-14 med sejren, og de har nu hele 11 sejre mere end Bucks på andenpladsen.
Celtics har nu kun brug for tre sejre mere for at være sikre på at få hjemmebanefordel i slutspillet.
'Der er lang vej endnu'
Fem Boston-spillere sluttede med tocifrede antal point, herunder Derrick White (23), Jaylen Brown (21) og Kristaps Porzingis (17). Payton Pritchard tilføjede 19 fra bænken.
"Vi har bare et virkelig komplet hold," siger Tatum til ESPN.
"Vi har spillet godt hele sæsonen, men vi har stadig lang vej igen," sagde Tatum.
"Jeg kan godt lide den måde, vi udvikler os på, men vi er bare fokuserede på at blive bedre hver eneste dag.
"Vi kigger ikke på slutspillet. Vi har en kamp på fredag mod Detroit - og det er den tankegang, vi skal have."
Med Antetokounmpo fraværende blev Milwaukees spil anført af Damian Lillard, som sluttede med 32 point, mens Bobby Portis tilføjede 24 fra bænken.
I andre kampe onsdag overgik Kevin Durant Shaquille O'Neal og rykkede op på ottendepladsen på NBA's all-time scoringsliste, da Phoenix Suns vandt 115-102 over Philadelphia 76ers.
Durant, som før kampen var otte point efter O'Neal på 28.596 point, satte et hopskud ind i tredje quarter og gik forbi det tidligere Los Angeles Lakers-ikon.
"Det er velfortjent," sagde O'Neal i en videobesked til Durant. "Det stopper ikke her ... Hvis nogen skulle overhale mig, skulle det helt sikkert være dig."
Durant sluttede aftenen med 22 point, mens Grayson Allen førte an i Suns' scoringer med 32 point, herunder ni tre-pointere.
I San Francisco rejste Golden State Warriors sig efter mandagens nederlag til New York Knicks og gav Memphis Grizzlies en lussing på 137-116.
Warriors forbedrede sig til 36-32 og ligger fortsat på tiendepladsen i Western Conference.
Miami henter sejr til sidst
I Cleveland leverede Miami Heat en forrygende afslutning og slog Cavaliers med 107-104.
Miami førte det meste af kampen, men Cleveland kom foran med fire point med et minut og 34 sekunder tilbage af fjerde halvleg.
Heats Terry Rozier scorede ni point i slutfasen, bl.a. en afgørende tre-pointer fra 26 fods afstand med 15 sekunder tilbage af kampen, så Miami igen kom foran og kunne sende gæsterne hjem.
Rozier sluttede med 24 point, mens Jimmy Butler blev Miamis topscorer med 30 point.
"Det er det vigtigste, bare at få sejren," sagde Rozier.
"Mine holdkammerater og trænere gør et stort stykke arbejde for at minde mig om, hvem jeg er, hver eneste aften, og at jeg bare skal være det. Jeg er glad for, at vi fik sejren."
Miami forbedrede sig til 38-31 med sejren og ligger på syvendepladsen i Eastern Conference. Cleveland er fortsat nummer tre i tabellen med 43-26.
Sacramento Kings vandt let over Toronto Raptors med 123-89, mens Indiana Pacers slog Detroit med 122-103.
Western Conference-lederne Oklahoma City vandt 119-107 over Utah Jazz, hvor Chet Holmgren (35) og Shai Gilgeous-Alexander (31) tilsammen lavede 66 point.