Jedan od pokazatelja uspona i padova turističkog raja na
Brijunima u 20.st. je i broj stalnih stanovnika na otočju. Godine 1893., kada
je Paul Kupelwieser kupio malarične Brijune, na Velom Brijunu je živjelo
nekoliko stanovnika. Osim njih, na otočju je bilo i nešto austrougarskih
vojnika u vojnim objektima. Kupelwieser je odmah započeo s uređenjem okoliša i
gradnjom gospodarskih zgrada pa je oko 1900. na Velom Brijunu povremeno radilo
i do 300 ljudi. Neki od njih postali su stalni stanovnici otoka. Mada su prvi
gosti na Brijune stigli još 1896., smještajni kapaciteti tada su bili skromni
no njihovim povećanjem povećao se i broj gostiju i broj stanovnika otoka. Oko
1910. Veli Brijun je imao tristotinjak stanovnika, ostali zaposlenici svaki dan
su dolazili iz Vodnjana, Fažane i okolice. Ne zaboravite, i obitelj Kupelwieser
je živjela na Velom Brijunu. Njihova vila se danas zove vila Zagorka (na
žalost, vila nije obnovljena). Pred početak Prvog svjetskog rata, na Brijunima
je stalno živjelo oko 700 stanovnika. Neki od njih su se doselili s obiteljima pa
je čak otvorena i škola (jedan razred za sve učenike). Naravno, dok je trajao
rat na Brijune je dolazio malen broj turista, a osim njih na otočju je boravilo
oko dvije tisuće vojnika. Rat je završio raspadom Austro-Ugarske. Talijani su
okupirali Istru (i ne samo Istru), a Rapalskim ugovorom iz 1920. godine Istra,
pa tako i Brijuni, postali su dio Italije. S Talijanima se turizam
na Brijunima promijenio; Brijuni su postali ljetno elitno ljetovalište, više
nisu bili klimatsko lječilište kao u vrijeme Austro-Ugarske zbog čega hoteli
više nisu bili popunjeni cijele godine.

Promijenile su se i želje bogataša pa
su na Velom Brijunu povećana ulaganja u sport i zabavu. Paul Kupelwieser je
umro 1919. i vođenje Brijuna nastavio je njegov sin Karl. Mada se golf igrao na
Brijunima od 1906., Karl je dao napraviti moderan golf teren s 18 rupa 1922.
godine, a Brijuni su postali poznati po golf turnirima. Povećan je i broj
terena za tenis, a 1925. Brijuni su dobili atraktivan i vrlo popularan (ali i
vrlo skup) elitni sport, polo. Sagrađena je i konjušnica za 200 konja. Unatoč
trudu i ogromnim ulaganjima, pogotovo u polo, Brijuni više nisu nikad dostigli broj
gostiju i zaradu kao u prijeratnim godinama. Ogromnim izdacima i slabom zaradom ubrzo se pridružio novi problem. Godine 1929. započela je u SAD velika
gospodarska kriza koja se ubrzo prelila i na Europu. Karl Kupelwieser više nije
mogao podnijeti financijsku propast predivnog projekta kojeg je započeo njegov
otac pa je 1930. počinio samoubojstvo i pokopan je u obiteljskoj grobnici na
Velom Brijunu. Godinu dana nakon njegove smrti, 1931. godine, Brijuni su imali 799 stanovnika. Zbog bankrota, 1936. Brijuni su prešli u državno (talijansko)
vlasništvo. U ovom razdoblju osim gradnje novog hotela Karmen na mjestu
prijašnjeg hotela, na Brijunu je bilo i nešto privatnih ulaganja. Godine 1931.
obitelj njemačkog industrijalca Stinnes Fries sagradila je vilu Madonna (danas
vila Jadranka), a vojvoda od Spoleta je za sebe sagradio manju vilu (danas vila
Lovorka). U vrijeme Drugog svjetskog rata pa do kapitulacije Italije 1943. na
otoku su bili talijanski vojnici, a nakon kapitulacije Italije njih su
zamijenili njemački vojnici. Zbog vojnika i vojnih objekata na Brijunima,
krajem rata otočje su u nekoliko navrata iz zraka napali saveznici i nanijeli
veliku štetu (fotografija). U proljeće 1946. Brijuni, s tadašnjih 196 stanovnika, postali su dio tadašnje
Jugoslavije. Pedesetih godina
20.st. Brijuni su postali rezidencijalno otočje, a njihovim zatvaranjem za
javnost i broj stanovnika se smanjio. Tako je 1961. na Brijunima živjelo pedesetak
stanovnika, a 1971. samo 13 stanovnika. Od osamdesetih godina otočje je ostalo
bez stalnih stanovnika. I tako su Brijuni u manje od 100 godina, od nekoliko
stanovnika devedesetih godina 19.st, preko osamstotinjak stanovnika tridesetih
godina 20.st. postali otočje bez stalnih stanovnika.