Na talasu komercijalnog uspeha prvog albuma, grupa je brzo postala poznata, naročito u Sjedinjenim Državama. Druga ploča, nazvana “Led Zeppelin II“, stilski se nije preterano razlikovala od prvog albuma i objavljena je krajem iste godine. Još uspešniji od prvog, album je vrlo brzo dospeo na prva mesta top-lista u SAD i u Velikoj Britaniji.
Početna pesma na albumu nazvana je “Whole Lotta Love” i započinje silovitim gitarskim rifom praćenim ritmičkom sekcijom. Muzički kritičari smatraju da je ta pesma definisala prepoznatiljivi muzički stil grupe. Ostale značajnije pesme sa albuma su akustično/električna “Ramble On“, privlačan rif, komplikovan gitarski solo i moćan vokalni deo pesme “Heartbreaker” i eksplozivni hor “What Is and What Should Never Be“. Na lbumu se nalaze pesme koje upadljivo nalikuju pesmama Vilija Diksona, iako Dikson nigde na albumu nije naveden kao autor pesama. Uvod u “Bring It on Home” je obrada “Bring It on Home” Sonija Blejka, a sama pesma je izmamila poređenja sa Diksonovom “Bring It on Back“. Pesmu “Whole Lotta Love” mnogi su poredili sa Diksonovom “You Need Love“, iako je ta fraza još ranije korišćena. Sedamdesetih godina Ark mjuzik, izdavački ogranak Čiz rekordsa, podneo je tužbu protiv grupe zbog povrede autorskih prava u kompoziciji “Bring It on Home“, koja je rešena vansudskim poravnanjem. Sam Dikson nije imao koristi od ovoga sve dok nije tužio Ark mjuzik da bi povratio svoja prava. Nekoliko godina kasnije, Dikson je podneo tužbu protiv Led zepelina zbog kršenja autorskog prava u “Whole Lotta Love” koja je rešena velikodušnim vansudskim poravnjanjem. U kasnijim izdanjima albuma “Led Zeppelin II, Dikson se navodi kao autor nekih pesama.
Pejdž je jednom intervjuu izjavio: Često sam razmišljao o tome da bi mi trebalo da budemo sinovi Haulin Vulfa na isti način na koji su Stonsi pokušavali da budu sinovi Čaka Berija. Verzija pesme Haulin Vulfa “Killing Floor“, koju su zepelini često izvodili na svojim ranim koncertima, obrađena je na albumu “Led Zeppelin II u drugačijem aranžmanu i pod nazivom “The Lemon Song“.
Tokom ovog perioda, grupa je odsvirala nekoliko turneja u SAD, nastupajući u početku po klubovima i o plesnim dvoranama, da bi, kako je popularnost rasla, grupa prešla na svirke u velikim dvoranama. Međutim, singapurski zvaničnici, koji su ih dočekali na aerodromu, zabranili su nastup grupe zbog duge kose njenih članova. Koncerti Led zepelina su ponekad trajali i duže od tri sata, sa produženim verzijama pesama koji su često sadržavale elemente džejmsbraunovskog soula i fanka i muzičkog stila kuća Staks i Motaun(omiljene izdavačke kuće basiste Džounsa i bubnjara Bonama). Kvartet je takođe voleo američki rokenrol, oličen u muzici Fetsa Domina i Litl Ričarda. Grupa je takođe svirala i rokabili pesme koje su proslavile Elvisa Preslija i Edija Kokrana. Mnogi od ovih nastupa su zabeleženi na piratskim izdanja koje i dan-danas cene i kolekcionari ploča i obožavaoci grupe.
