V roce 1935 začal studovat práva na Georgetownské univerzitě. V té době se angažoval v politice Franklina Delana Roosevelta , podporoval New Deal, a byl považován za jeho chráněnce, který ho v roce 1935 jmenoval ředitelem Texaské národní správy pro mládež. Po smrti kongresmana Jamese Paula Buchanana v roce 1937 se uvolnilo jedno křeslo ve Sněmovně reprezentantů. Johnson se rozhodl kandidovat do dolní komory a křeslo získal. Krátce po nástupu do nové funkce se stal členem Výboru pro námořní záležitosti, kde prosazoval investice ve svém domovském okrese. Zajistil finanční prostředky na elektrifikaci venkova a také se mu podařilo přesvědčit americké námořnictvo , aby investovalo do vojenských operací v Texasu, což vytvořilo nová pracovní místa.Johna Garnera. O rok později kandidoval do Senátu , ale prohrál s texaským guvernérem Lee O’Danielem s náskokem přibližně 1 300 hlasů.

Když Spojené státy vstoupily do druhé světové války po útoku na Pearl Harbor , Johnson si vzal volno z práce ve Sněmovně reprezentantů a vstoupil do námořnictva jako poručík. Zpočátku byl umístěn u záložní jednotky v San Franciscu , ale díky Rooseveltově přízni byl přidělen do Nové Kaledonie. V červnu 1942 se zúčastnil útoku bombardéru B-26 na japonskou leteckou základnu v Lae. Letadlo, které řídil, havarovalo a bylo několikrát zasaženo, ale podařilo se mu dosáhnout základny v Port Moresby. O měsíc později Johnson od generála Douglase McArthura obdržel Stříbrnou hvězdnou medaili. Na výslovnou žádost prezidenta se museli všichni kongresmani, kteří se účastnili války, vrátit do svých pracovních míst v zákonodárném sboru, a tak se Johnson po šesti měsících vrátil do práce ve Sněmovně reprezentantů.

Po druhé světové válce byl členem Výboru pro poválečnou vojenskou politiku a Smíšeného výboru pro atomovou energii Kongresu. V roce 1948 se rozhodl podruhé kandidovat do Senátu. Během volební kampaně deklaroval podporu Organizaci spojených národů, vojenské expanzi a zvýšení financování hospodářského rozvoje Texasu. Jeho soupeřem o nominaci Demokratické strany byl Coke Stevenson. V primárkách byl rozdíl hlasů mezi oběma kandidáty 87 hlasů ve prospěch Johnsona, což vedlo k tomu, že jeho rival napadl výsledek u soudu. Nakonec však bylo Johnsonovo vítězství uznáno a v samotných volbách snadno porazil svého republikánského rivala. Začátkem roku 1949 byl zvolen senátorem, tuto funkci zastával až do roku 1961. Trumanovu příliš shovívavou politiku a podporoval účast v korejském konfliktu a studené válce. V roce 1953 se stal vůdcem demokratické menšiny, zdokonalil své později proslulé legislativní dovednosti a osobní přesvědčování, a když demokraté o rok později získali většinu v horní komoře, byl jmenován vůdcem většiny. V letech 1957 a 1960 získal podporu pro zákony o občanských právech. Přispěl k přijetí zákona o občanských právech Kongresem, který souvisel s procesem desegregace ve Spojených státech.

Když v roce 1957 Sovětský svaz jako první vypustil umělou družici do vesmíru, Johnson se zasazoval o rozvoj letectví, výrobu balistických raket a podílel se na vzniku Národního úřadu pro letectví a vesmír.

V roce 1960 se konaly prezidentské volby , ve kterých měl Johnson šanci získat demokratickou nominaci. Vzhledem k tomu, že se aktivně neúčastnil volební kampaně a primárek, stal se kandidátem John F. Kennedy. Aby si však zajistil podporu konzervativců a voličů v jižních státech, Kennedy Johnsonovi nabídl místo viceprezidenta, které Johnson přijal. Republikánským kandidátem byl Richard Nixon. V den všeobecných voleb se konaly simultánní volby do Senátu, kterých se zúčastnil i Johnson. Vyhrál oba hlasovací lístky, ale 3. ledna 1961, ihned po složení přísahy v Senátu, rezignoval na své místo. Přísahu viceprezidenta složil 20. ledna.