Oleszno położone jest w samym środku regionu geograficznego zwanego Niecką Włoszczowską. Region ten ma kształt podłużnej doliny z rzeką Czarną i jej dopływami. Jego granice wyznaczają od północy Wzgórza Koneckie, od wschodu Pasmo Chęcińskie, a od zachodu rzeka Pilica. Teren nachylony jest w kierunku północno-zachodnim, zgodnie z biegiem rzek, brak jest naturalnych przeszkód od strony południowej. Właśnie o tej strony mogli przybywać na te tereny pierwsi osadnicy, prawdopodobnie ze starszych centrów osadnictwa w Krakowskiem. Rzeźba terenu jest dość łagodna i nie mogła utrudniać rozwoju osadnictwa.

Gleby w okolicach Oleszna są średniej jakości. Uformowały się one na podkładach z madów, piasków i torfów z okresu holoceńskiego w erze kenozoicznej. W części na to nałożony jest młodszy podkład margli, wapieni zmieszanych z łupkami i piaskowcami z ery mezozoicznej. Na terenie Oleszna przeważają gleby bielicowe z gdzieniegdzie występującymi glebami lessowymi. Rzecz jasna, nie są to gleby najlepsze.

Bardzo ważne są również surowce mineralne, jakie występowały na tym terenie. Były to przede wszystkim wapienie i glinki ceramiczne oraz ruda żelaza zwana potocznie rudą darniową. Był to surowiec o małym procencie zawartości żelaza, ale za to łatwo dostępny, jeśli chodzi o wydobycie. Zalesienie okolic Oleszna było bardzo duże - rosły tu dęby, jodły, świerki, osika, olchy, sosny. Z samej jodły i świerka składał się las Czarny ciągnący się od Oleszna aż do rzeki Czarnej. O obfitości lasu świadczą miejscowe nazwy typu "Dąbrowa", "Dąbrówki", czy też samo "Oleszno".

Równie ciekawie przedstawiały się stosunki wodne w Olesznie. Nadal występuje tu duża ilość źródeł, które dzięki swojej dość wysokiej temperaturze nie zamarzają w zimie. Było tu również sporo bagien, które tutejsi mieszkańcy przekształcali w stawy i użytki rolne. Wśród tych bagien i źródeł płynęła, rzeczka biorąca początek koło Świdna, położonego na południowy wschód od Oleszna.

Reasumując, można śmiało powiedzieć, że warunki naturalne Oleszna były dobre, choć trudno jest z pewnością rozstrzygnąć, czy surowce mineralne, czy obfitość drzewa, czy ciepłota i obfitość tutejszych wód przyciągnęły tu osadników i zdecydowały o tym, że tu właśnie powstała osada.