Odderøya har vært befestet med militære anlegg siden 1600 tallet. Militært sett hadde Odderøya sin militære storhetstid i 1905 og under nøytralitetsvakta under 1. verdenskrig. Da var øya rustet opp med datidens moderne kanoner og befestninger. Fult bemannet skulle Kristiansand Festning ha 250 befal og 1200 menige. I festnings organisasjonen inngikk også batteriet og minefeltet i Marvika/Gleodden, vakt fartøyer samt observasjonsposter i Randesund og på Flekkerøya. Festningen hadde da et Hovedbatteri med 2 stk 21 cm kanoner, 3 batterier med 2 stk 15 cm kanoner og 1 haubitsbatteri med 4 stk 24cm kanoner. Samt østre strandbatteri som hadde 2 stk 75 mm kanoner. I Marvika var 3 stk 15 cm kanoner, 2 stk 75 mm kanoner samt et minefelt (som skulle legges fra Gleodden til Smeholmen).
Opp gjennom tidene har en hatt tidsepoker hvor Forsvaret ble nedprioritert. Dette ble også gjeldende for Kristiansand Festning som i 1920 årene ble stilt i reserve. Dette innebar bla at det ikke ble utdannet nok personell. Det ble ikke gjennomført øvelser og materiellet ble bare i liten grad vedlikeholdt. Dette var en villet politikk, det brukne gevær. Denne nedprioriteringen av Forsvaret og kystfestningene fikk jo katastrofale følger 9 april 1940. Selv om de på Odderøya kjempet en heroisk kamp og drev tyskerne tilbake 2 ganger, ville en ikke ha klart å stå imot overmakten lenger enn de gjorde. Den tyske invasjonsstyrken ble ved 3. inntrengingsforsøk sluppet uhindret forbi fordi en fra festningen forvekslet et signalflagg med det franske flagget. 8 ble drept og ca. 40 såret under angrepene som varte fra kl 0500 til ca. 1130.
Under krigen flyttet tyskerne de beste kanonene til Randøya og Flekkerøya og noen lenger vest. Haubitsbatteriet ble stående igjen og ble skutt med 1 gang. De flyttet kanon 2 til vestre batteri og etablerte en sambandssentral i kanon 2s ammunisjonsmagasin og dekningsrom. Odderøya ble av tyskerne brukt som rekruttskole. De bygde en del brakker og forbedret veinettet likeledes bygde de 2 kanonstillinger syd på øya til noen panserkanoner. Disse ble demontert i 1960 årene.
Batteriet hadde som oppgave å beskytte minefeltet som skulle legges mellom Grønningen fyr og Oksøy fyr i tilfelle væpnet konflikt. Batteriet skulle dessuten kunne gi artilleristøtte til nabofortene Randøya og Krossodden (på Flekkerøya). Kanonen hadde en skuddtakt på ca 17 skudd pr minutt og skuddvidden var 15000 meter. Fra 1985 ble gammel ammunisjon byttet ut med moderne ammunisjon som var mer effektiv mot fartøyer enn den gamle x-tyske ammunisjonen. Batteriet ble nedlagt i 1994.
Kystartilleriets organisering på Odderøya
Etter krigen var det 5 årskull som ikke hadde vært inne til førstegangstjeneste og det ble igangsatt en intensiv opplæring av befal som kunne utdanne disse store soldat kullene. En hadde i perioder besetninger på Odderøya, Randøya og på Flekkerøya. Førstegangstjenesten var i begynnelsen 16 mnd., deretter 12 og på slutten (1993) 9 mnd. Kristiansand Festning skiftet navn til Kystartilleribrigade Sør deretter tilbake til Kristiansand Festning. I 1962 gikk Kystartilleriet over til Sjøforsvaret og festningsbenevnelsen ble skiftet til Sjøforsvarskommando Sørlandet for etter noen år å bli hetende Sørlandet Sjøforsvarsdistrikt, et navn de beholdt til nedleggelsen i 2000.
På Odderøya hadde en, foruten rekruttskole med 1000 soldater i året helt fram til 1993, Sjøforsvarsdistriktets ledelse og operasjonsavdeling samt personell- og stasjonsavdeling med en stor verkstedorganisasjon som bla bestod av artilleri verksted, lyskaster verksted, børsemaker, servo verksted, snekkerverksted, rørlegger, sveise verksted, malerverksted og en sanitetsavdeling og transportavdeling, bilverksted, skredder, skomaker samt en sanitetsavdeling og velferdskontor. I 1905 var et også et bakeri og skjenkestue på øya. Mange lagre huset utstyr, våpen og ammunisjon til mobiliseringsavdelingene.
Oppgaven til distriktet var å ajourholde planverk, vedlikeholde materiell og kle opp krigsbemanningen som var på 3000 mann.
Sjøforsvarsdistriktets sambandsavdeling var i 50 årene lokalisert i et tilbygg til Kommandantboligen. Senere ble avdelingen flyttet til kjelleretasjen i administrasjonsbygget for deretter i 70 årene å bli flyttet til kaldkrigsanlegget på toppen av øya. Der var det til nedleggelse.
Rekruttskolen skulle gi soldatene grunnleggende ferdigheter innen militære disipliner i løpet av 3 mnd. deretter ble de fordelt til tjenestesteder hovedsakelig i Nord Norge. Rekruttene var innlosjert på Hovedkaserna, Sambandskaserna (ved Odderøya barnehage), Østre brakke og Toppbrakka (revet).
I tillegg til de nevnte avdelinger gjennomførte man sjåførkurs og kokkekurs på Odderøya for hver kontingent. Da rekruttskolen ble nedlagt og sjøforsvarsdistriktet (de få stillingene som var igjen) flyttet til Marvika, flyttet Sjøheimevernet (SHV område) inn i kommandoplassen til Odderøya fort og etter hvert flyttet SHV avsnittet inn i distriktets kommandoplass (Kaldkrigsanlegget). Her ble de til 2006.
Skyteskolen for Kystartilleriet (SSKA) var fra 1953 lokalisert på Odderøya. Det ble i tidsrommet bygget mange familieboliger på Odderøya. Skyteskolen krevde også undervisningslokaler og en artillerihall. SSKA var ansvarlig for alle reglementer som var i bruk i Kystartilleriet og gjennomførte kurs for yrkes- og vernepliktig befal. Skyteskolen var lokalisert i bygningen før barnehagen før de flyttet ned i Quartbrakka. Der var de til de flyttet til Bergen. At Skyteskolen var lokalisert på øya bidro til at fortene på Randøya, Flekkerøya og Odderøya hadde moderne ildledningssystemer som kystartilleribefal fikk opplæring på. Skyteskolen ble flyttet til Bergen i 1997.
I 1999 var stort sett all militær aktivitet på Randøya, Krossodden og Odderøya nedlagt. Mange stillinger forsvant fra fredsorganisasjonen. Det lille som var igjen flyttet til Marvika hvor de var til også denne avdelingen ble nedlagt.