Bora-Hansgrohe-rytteren tog trøjen fra Pogacars UAE Emirates-holdkammerat Adam Yates efter den første bjergetape og fører med 47 sekunder til Vingegaard på andenpladsen og med 1 minut og 40 sekunder til Pogacar på sjettepladsen i det samlede klassement.
"Jeg kan ikke tro det. Jeg havde ikke forventet det her, da jeg rullede ud af sengen i morges", sagde Tour de France-debutanten.
"Jeg har set Touren, siden jeg var en lille dreng på seks år, og jeg havde aldrig troet, at jeg skulle køre i den gule trøje, men her er vi så".
Hindley er kun den anden australier, der har vundet en Grand Tour med sejren i sidste års Giro d'Italia, og han havde lagt en konservativ strategi for etapen, men endte med at slutte sig til et stort udbrud før den første stigning.
Improvisationen viste sig at være effektiv, da Hindley kom fri og kunne fejre sejren med sin familie.
Australieren sagde, at han havde været låst inde i højdetræningslejre og rekognoscering af ruten i flere måneder før sin Tour-debut.
"I bund og grund har jeg levet som en munk i de sidste to måneder og levet i en kuffert, hvilket er sjovt", sagde Hindley.
"Jeg har ikke rigtig set min familie eller nogen andre, men det er man nødt til, hvis man vil være konkurrencedygtig".
"Det er virkelig specielt for mig at have dem her og have dem som støtte på vejen. Jeg skylder dem alt, og de betyder alt for mig".
Rivaliseringen mellem den forsvarende mester Jonas Vingegaard og den dobbelte Tour-vinder Pogacar vil fortsat være i fokus forud for endnu en testende sjette etape gennem Pyrenæerne, men Hindley mener, at klassementet er helt åbent.
Hans forældre siger, at etapesejren var 20 år undervejs, og at Hindley allerede som syv-årig besluttede, at han ville være professionel cykelrytter.
"Han kan godt lide at stræbe og at komme til det næste og det næste", sagde hans mor Robyn til Australian Broadcasting Corporation.
"Og det er gået langsomt med at komme hertil, bare små skridt hvert år, og han har lært. Han tager endnu et skridt".