Bangunan sekolah ini merupakan gedung tua yang dibangun pada zaman pemerintahan Hindia Belanda, dirancang oleh arsitek Charles Prosper Wolff Schoemaker, yang berfungsi sebagai gedung Hoogere Burgerschool te Bandoeng (HBS) yaitu sekolah menengah untuk bangsa Belanda dan kalangan ningrat Indonesia (sekolah setaraf gabungan SMP (MULO) dan SMA (AMS) dengan masa studi 5 tahun).

Gedung ini berdiri di atas tanah seluas 14.240 m2 dengan luas bangunan 8.220 m2 menghadap ke utara (Jalan Belitung) dihuni oleh dua sekolah yaitu SMUN 3 Bandung di sebelah barat dan SMUN 5 Bandung di sebelah timur. Batas SMU 3 dan SMU 5 hanya dibatasi oleh jalur koridor tengah yang memanjang dari arah utara ke selatan. Batas koridor ini dapat juga berfungsi sebagai pemersatu antara SMA 3 dan SMA 5 sehingga para warga kedua sekolah ini dapat hidup berdampingan dengan rukun dan damai. Di antara para siswa pun tidak pernah terjadi perselisihan.

Adapun sejarah dan fungsi bangunan adalah sebagai berikut:

• Zaman Belanda (1916 – 1942): Berfungsi sebagai gedung HBS Bandung, sebagai HBS ke-4 yang didirikan pemerintah kolonial setelah HBS di Jakarta (27 November 1860), Surabaya (November 1875), dan Semarang (1 November 1877)[3]. Ketiga HBS tersebut semula bermasa studi 3 tahun, sejak 1879 menjadi 5 tahun (HBS V).
• Zaman Jepang (1942 – 1945): Berfungsi sebagai markas (tangsi/asrama) tentara Jepang (Kempetai).
• Zaman Peralihan (1947 – 1950): Pagi hari berfungsi sebagai Sekolah VHO (Voortgezet Hoger Onderwijs) – sekolah setaraf SMA berbahasa Belanda dan sore hari sebagai VHO berbahasa Indonesia. Pada periode itu Bandung dan sekitarnya masih dikuasai NICA sehingga sistem pendidikan masih mengacu pada sistem yang berlaku sebelum pendudukan Jepang. Gedung sekolah tersebut pagi hari digunakan siswa berbangsa Belanda yang waktu itu masih banyak menetap di Bandung, sementara siang-sore harinya digunakan siswa Indonesia.
• Tahun 1950: VHO berbahasa Indonesia diganti menjadi SMA 1 B/C, sedangkan VHO berbahasa Belanda (ex HBS) menjadi SMA 2 B/C. Sejak pengakuan kedaulatan, sistem pendidikan yang digunakan di sekolah tersebut mengikuti sistem pendidikan Indonesia. Sebagai “tuan rumah baru”, sekolah “sore” (eks VHO bahasa Indonesia) mendapat nomor urut 1, sementara “tuan rumah lama”, sekolah “pagi” (eks VHO berbahasa Belanda – eks HBS) mendapat nomor urut 2. Dengan pengakuan kedaulatan Indonesia Desember 1949 tersebut, jumlah siswa berbangsa Belanda surut dengan sendirinya, sementara siswa berbangsa Indonesia semakin meningkat jumlahnya. Sebagai catatan pada saat itu di Bandung ada tiga SMA Negeri, yaitu SMA 1 B/C di Jl. Belitung (kelas sore, eks VHO Indonesia), SMA 2 B/C di Jl. Belitung (kelas pagi, eks VHO Belanda, eks HBS), dan SMA 3 A/B (eks SMA Parki, sejak tahun 1950 diubah menjadi SMA 3 A/B, kelak menjadi SMA Negeri 1 Bandung dan SMA Negeri 4 Bandung, berlokasi di Jl. Sumatera/Jl. Jawa).
• Tahun 1952: Terjadi pemekaran sekolah, SMA 1 B/C menjadi SMA B dan SMA C[4] sedangkan SMA 2 B/C menjadi SMA 2 B. Siswa bagian C dari eks SMA 1 B/C dan SMA 2 B/C digabungkan ke SMA C. Pada pagi hari digunakan untuk SMA 2 B (kelak menjadi SMA Negeri 2 Bandung) dan SMA C (kelak menjadi SMA Negeri 5 Bandung), sedangkan pada sore hari digunakan oleh SMA B (kelak menjadi SMA Negeri 3). Pada bagian lain SMA 3 A/B eks Parki juga dimekarkan menjadi SMA 3 B dan SMA 3 A.
• Tahun 1956: Terjadi perubahan nomenklatur sekolah, SMA B menjadi SMA Negeri III B. Pada bagian lain SMA 2 B menjadi SMA Negeri II B, SMA C menjadi SMA Negeri V C. Sementara itu dua SMA di Jl. Sumatera/Jl. Jawa, SMA 3 B menjadi SMA Negeri IV B, SMA 3 A menjadi SMA Negeri I A. Dengan demikian sampai saat itu terdapat 6 SMA Negeri di Bandung, yaitu:
  • SMA Negeri I A (eks SMA 3A, eks SMA 3 A/B, eks SMA Parki, lokasi masih menumpang di lokasi SMP Negeri 2 Bandung dan SMP Negeri 5 Bandung Jl. Sumatera/Jl. Jawa).
  • SMA Negeri II B (eks SMA 2B, eks SMA 2 B/C, eks VHO Belanda, eks HBS, lokasi di Jl. Belitung).
  • SMA Negeri III B (eks SMA B, eks SMA 1 B/C, eks VHO Indonesia, lokasi di Jl. Belitung).
  • SMA Negeri IV B (eks SMA 3B, eks SMA 3 A/B, eks SMA Parki, lokasi masih menumpang di lokasi SMP Negeri 2 Bandung dan SMP Negeri 5 Bandung Jl. Sumatera/Jl. Jawa).
  • SMA Negeri V C (eks SMA C, gabungan bagian C dari eks SMA 1 B/C dan SMA 2 B/C, lokasi di Jl. Belitung).
  • SMA Negeri VI C (filial SMA V C, lokasi di Jl. Belitung).
• Penomoran sekolah tersebut bukanlah berdasarkan tahun pendirian melainkan berdasarkan penjurusan A/B/C. Oleh karena itu, SMA Negeri 1 Bandung yang semula SMA 3A diberi nomor “I”, SMA 2 B tetap diberi nomor “II”, SMA B diberi nomor “III” karena nomor “I” sudah diberikan kepada SMA Negeri IA, demikian juga SMA C yang secara alfabet mendapat nomor urut “V”.
  Beberapa waktu kemudian terjadi perubahan nomenklatur lagi, penjurusan SMA dihapuskan, setiap SMA membuka semua bagian baik A (Budaya dan Sastra/Sejarah), B (Ilmu Pasti/Ilmu Alam), C (Ilmu Sosial). SMA Negeri III B menjadi SMA Negeri III.
• Tahun 1966: SMA Negeri II pindah ke jalan Cihampelas (menempati bekas sekolah Cina) dan SMA Negeri VI pindah ke jalan Pasir Kaliki (menempati bekas sekolah Cina). SMA Negeri III “pindah” menjadi kelas pagi di Jl. Belitung bersama SMA Negeri V. Pada bagian lain SMA Negeri I dan SMA Negeri IV yang sebelumnya menumpang di Jl. Sumatera/Jl. Jawa mendapat lokasi baru. SMA Negeri IV pindah ke Jl. Gardujati No.20 (menempati bekas SD Chung Hwi), SMA Negeri I pindah ke Jl. Ir. H. Juanda.Tahun
• 1966 hingga sekarang: Berfungsi sebagai gedung SMAN 3 Bandung dan SMAN 5 Bandung.