Tuduhannya adalah melakukan kegiatan makar dan membentuk organisasi illegal bernama Vrijwillige Ondergrondsche Corps (VOC). Dikabarkan, persiapannya dilakukan bersama sejumlah tokoh saat mereka berada di Gianyar, Bali, untuk menghadiri upacara ngaben (pembakaran jenazah) ayah dari Ide Anak Agung Gde Agung. Dalam upacara tersebut hadir sejumlah tokoh-tokoh oposisi pemerintah, Moh. Natsir, Sjafruddin Prawiranegara, Buya Hamka, Mochtae Lubis. Terutama dari dua partai yang sudah dibubarkan, Masyumi dan Partai Sosialis Indonesia (PSI), seperti Mohamad Roem (Masyumi), Sutan Sjahrir (PSI), dan Subadio Sastrosatomo (PSI). Mohammad Hatta hadir, begitu juga Hamid yang notabene kawan lama Ide Anak Agung Gde Agung. Selama empat tahun mereka ditahan tanpa proses pengadilan, tanpa diadili. Dia baru dibebaskan pada 1966 setelah era Soekarno berakhir. (Sultan Hamid II, Meneroka Akar Perkara Makar, 2012 – Lentera Timur)
Dalam tahanan di Madiun itu, interaksi Sultan Hamid II dengan para tokoh bangsa, cukup lama. Bagaimana tidak, selama empat tahun bersama-sama melakukan aktifitas dalam jeruji besi. Sultan Hamid II, kabarnya, memang tak begitu disukai karena sikapnya yang formal, tegas, dan cukup emosional. Di sisi lain, terlalu disiplin (ala militer), dan serius. Tokoh republik tak banyak yang menyukainya, termasuk Sutan Sjahrir. Dalam memoar itu, Hamid menyebut bahwa “..pertemuan Sutan Sjahrir bersama Sultan Hamid II kurang menyenangkan, dipenuhi suasana formal.. Ketika saya menanyakan pertemuan Sjahrir bersama Sultan Hamid II, tampak kurang terkesan..”. Tapi belakangan pendapat Sjahrir terhadap Sultan Hamid II sangat berubah, kata Hamid.
