Kota Bogor terletak pada ketinggian antara 190-350 m di atas permukaan laut. Ketinggian ini dan juga lingkungannya yang berada di kaki Gunung Salak dan Gunung Gede menjadikan Kota Bogor memiliki udara yang sejuk, suhunya berkisar antara 21º-26ºC. Kota Bogor sering disebut sebagai “kota hujan” karena hampir sepanjang tahun turun hujan di kota ini. Karena letaknya yang berada di kaki dua gunung, wilayah Kota Bogor banyak dilewati aliran sungai, di antaranya Ciliwung, Cisadane, Cipakancilan, Cidepit, Ciparigi, dan Cibalok.
Menurut beberapa ahli sejarah, Kota Bogor diduga sebagai tempat berdirinya “Pakuan Pajajaran” yang hingga kini belum dapat dipastikan lokasinya. Kota Bogor sendiri mulai berkembang menjadi satu kota dalam tatanan permukiman kolonial dimulai sejak Gubernur Jenderal VOC bernama Van Imhoff membeli tanah di Kampung Baru pada bulan Agustus 1745, dan kemudian mendirikan satu rumah peristirahatan di tanah tersebut. Nama Kampung Baru kemudian berubah menjadi Buitenzorg, mengikuti villa yang dibangun oleh van Imhoff. Pada tahun 1746, van Imhoff menggabungkan sembilan distrik di sekitar Kota Baru menjadi satu regentschap (kabupaten) bernama Kampung Baru Buitenzorg. Sembilan distrik itu adalah Cisarua, Pondok Gede, Ciawi, Ciomas, Cijeruk, Sindang Barang, Balubur, Dramaga, dan Kampung Baru. Istana Bogor menjadi pusat dari Regentschap tersebut.
Pada tahun 1752, villa yang dibangun oleh van Imhoff dibakar oleh tentara Banten. Jacob Mossel sebagai Gubernur Jenderal berikutnya yang menggantikan van Imhoff, kemudian membeli tanah tersebut dan membangun rumah peristirahatan yang baru. Rumah peristirahatan yang dibangun oleh Jacob Mossel beserta dengan tanah Kampung Baru kemudian menjadi warisan ex-officio bagi setiap Gubernur Jenderal sebagaimana diatur sejak masa kekuasaan Daendels (1808-1811). Daendels sendiri adalah Gubernur Jenderal yang pertama kali memilih tinggal di Istana Bogor (Buitenzorg) dan cenderung datang ke Batavia hanya beberapa hari dalam satu bulannya. Hal tersebut ia lakukan karena ia melihat permasalahan kesehatan lingkungan Batavia yang semakin buruk.
Bangunan Istana Bogor sendiri sempat mengalami beberapa kali pembangunan, setelah dibakar pada tahun 1752, Istana Bogor kedua yang dibangun Jacob Mossel hancur akibat gempa bumi pada tahun 1834. Bangunan yang dapat dilihat hingga saat ini adalah hasil pembangunan yang ketiga kali. Sejak masa pemerintahan Daendels inilah, Bogor yang tadinya hanya sebagai tempat peristirahatan, pada akhirnya memiliki nilai strategis bagi Batavia, selain dari sisi sosial-ekonomis, juga dari sisi militer. Hingga kemudian juga berkembang menjadi kota dimana dikembangkannya penelitian terhadap berbagai jenis tanaman saat Gubernur Jenderal Sir Stamford Raffles berkuasa (September 1811-Agustus 1816). Hal tersebut diawali dengan pembuatan taman di sekitar Istana Bogor yang kemudian disebut sebagai Kebun Raya Bogor.