Karaman il sınırları içeresinde bulunan arazinin üçte ikisi dağlıktır. İlin en yüksek dağı, Sarıveliler ilçesinde bulunan, Orta Toroslardaki Yunt Dağı'dır ve yüksekliği 3227 metredir. Ayrıca, il merkezinin 20 Km. kuzeyinde bulunan Karadağ, 2271 metre yüksekliğindedir. Sönmüş bir volkanik dağdır.
İl merkezi ovada kurulmuştur. Hemen güneyinde Torosların uzantıları yeralır. Mut yönünden Akdenize, merkez Toroslar üzerinde, önemli bir geçit olan Sertavul Beli (Geçidi), İç Anadolu'yu Akdeniz'e bağlayan önemli geçitlerden biridir. Daha güneyde ve görkemli Orta Toroslar'm üzerinde, Ermenek, Başyayla ve Sarıveliler ilçeleri yeralmaktadır. Bu bölgede yer alan Göksu Nehri'nin iki ana kolu, Orta Toroslarla birleşerek, dik ve derin uçurumlu Taşeli (Klikya) platosunu oluşturmaktadır.
Kazımkarabekir ilçesinden güneye inildiğinde, yine Toroslara ulaşılır. Buranın en yüksek dağı Hacıbaba Dağı ile, doğusunda yeralan Musa, Yülek ve Çavdarlı tepeleri, daha güneyde, Toroslara dahil Geyik ve Bolkar Dağları'na ulaşılır.
Ayrancı ilçesini kuşatan dağlar; Bolkar, Bozoğlan, Musa, Meke ve Çakırdağ silsileleridir. Toroslara dahil bu dağların arasındaki "Tarihi Mara Yolu" ndan İçel iline ulaşma olanağı mevcuttur.
Karaman etrafında bulunan dağların ve Karadağ çevresinde, ovada yeralan iç denizin kıyı kesimlerinde, falezlere rastlanmaktadır. Bu falezlerin (Taraça, Seki) diklikleri l ile 10 m. arasında değişmektedir. 900-995-1010 m. yükseltilerde yeralmaktadırlar. Jeolojik devirlerde bu falezler, Karaman-Konya-Ereğli havzasındaki iç denizin seviye değişmelerine bağlı olarak meydana gelmiştir.
Bu havzada yeralan Karadağ, andezit ve dazit intifalarından meydana gelmiş; intifalar, bazaltik lavların çıkışı ile son şeklini almıştır. Karadağ, esas itibariyle büyük bir koni görünümündeyse de, aslında üç koninin birbirleri ile kaynaşmasından meydana gelmiştir. Bu üç koni, Karadağ'ın en yüksek noktası Mihaliç Tepe (2271 m.); bunun kuzeyindeki, Baştepe ve doğusundaki Kızıltepe konileridir. Baştepe'nin üzerinde, çapı 150 m. olan bir krater bulunmaktadır.
Karadağ'da yeralan kraterlerin en büyüğü, büyük bir kısmı tahrip olan Mihaliç konisi üzerindedir. Bu kraterin uzun ekseni 500 m. ve genişliği 600 m.dir. Bu konilerin yaşları da aynı değildir. En yenisi Baştepe konisidir. Zira, çok daha yüksek Mihaliç tepe konisinin zararına, onu kısmen parçalıyarak çıkmıştır. Bölgede bulunan diğer volkanik koniler ise trakit, andezit tüfleri ve hematit cinsi tüflerden oluşmuştur.

Karaman ilinin iki önemli ovası bulunmaktadır. İl merkezinden Konya ve Ereğli'ye doğru deniz seviyesinden 1000-1050 m. yükseklikte verimli "Karaman Ovası" yeralmaktadır. Alanı 600 kın olan ovada, tarıma engel olmayacak şekilde hafif dalgalanmalar ve insan eliyle oluşturulmuş büyükler bulunmaktadır. Diğer bir ova "Ayrancı Ovasıdır. Ovanın genişliği 375 km; deniz seviyesinde yüksekliği ise 1010 - 1026 m.dir.