Secara geografis Candi Dadi berada di lereng pegunungan Walikukun, Desa Wajak Kidul, Kecamatan Boyolangu, Kabupaten Tulungagung. Candi Dadi keletakannya tidak jauh dengan beberapa candi yang telah hancur seperti Candi Urung, Candi Bhuto, dan Candi Gemali/yoni maupun gua-gua pertapaan yang ada seperti Goa Tritis, Goa Pasir, dan Goa Selomangleng, sehingga diduga secara kontekstual Candi Dadi mempunyai hubungan historis dengan candi dan gua-gua pertapaan tersebut yang berasal dari masa Majapahit.
Dalam laporan Belanda pada abad ke-19, disebutkan ada bangunan candi (berjumlah lima) yang berada di lereng utara Pegunungan Wajak atau juga disebut Pegunungan Walikukun di Tulungagung. Candi Dadi merupakan satu dari lima kelompok candi tersebut, sedangkan yang lain sudah tidak berbekas lagi.
Candi Dadi menurut J.E. Van Lohuizen-de Leeuw merupakan sebuah stupa, menurutnya bagian yang tersisa adalah dasar dari stupa sedangkan anda nya telah hancur. Pendapat serupa juga dilontarkan oleh Van Stein Callenfels. Namun berbeda dengan keduanya, menurut Agus Aris Munandar Candi Dadi merupakan sebuah Mahavedi yang berkaitan dengan kaum Resi. Dengan mengutip ajaran Veda, dikatakan bahwa para Resi mengadakan sebuah upacara korban dimana pada upacara ini dibawa beraneka sesaji berupa buah-buahan, daging, bunga-bunga dan lain-lain yang diletakkan di atas altar serta terdapat potongan api, untuk selanjutnya sesaji tersebut dibakar sebagai persembahan bagi para Dewa. Asap pembakaran langsung membumbung ke atas menuju puncak gunung sebagai tempat persemayaman para Dewa. Para Resi yang melakukan upacara korban di Candi Dadi merupakan kaum Resi yang bermukim di karsyan sekitar candi.
Agus Aris Munandar juga menyimpulkan bahwa Candi Dadi ini memiliki hubungan dengan beberapa bangunan candi yang telah hancur seperti Candi Urung, Cnadi Bhuto dan Candi Gemali. Juga berhubungan dengan gua-gua para Resi yang ada di Perbukitan Wajak ini seperti Gua Tritis, Gua Pasir, dan Gua Selomangleng.