Oliivi oli muinaisina aikoina koko Välimeren symboli. Tammen ohella se on kreikkalaisen mytologian arvostetuin puu. Mielenkiintoista on, että kreikkalaiset käyttivät oliiveja pääasiallisena rasvan lähteenä. Liha oli barbaarien ruokaa ja siksi sitä pidettiin epäterveellisenä.
Kreikkalainen mytologia selittää oliivipuun alkuperän Ateenassa seuraavasti. Athena on Zeuksen (kreikkalaisen mytologian korkeimman jumalan) ja Metisin tytär, joka symboloi oveluutta ja varovaisuutta. Athena oli sodanjumalatar, jonka ominaisuuksia olivat keihäät, kypärä ja kilpi. Lisäksi Ateenaa pidettiin oikeuden ja viisauden jumalattarina, taiteen ja kirjallisuuden suojelijana. Hänen pyhä eläimensä oli pöllö, ja oliivipuu oli yksi hänen erottuvista symboleistaan. Syy, miksi jumalatar valitsi oliivin symboliksi, selitetään seuraavassa myyttisessä tarinassa:
Kreikassa oliivipuu symboloi rauhaa ja vaurautta sekä ylösnousemusta ja toivoa. Tämän todistavat tapahtumat, jotka tapahtuivat sen jälkeen, kun Persian kuningas Xerxes poltti Ateenan 5-luvulla eaa. Xerxes poltti koko Akropoliin kaupungin sekä vuosisadan vanhat ateenalaiset oliivipuut. Kuitenkin, kun ateenalaiset tulivat poltettuun kaupunkiin, oliivipuu oli jo aloittanut uuden oksan, joka symboloi nopeaa toipumista ja uudistumista vastoinkäymisissä.
Herkules, yksi kuuluisimmista mytologisista sankareista, liitetään myös oliivipuuhun. Hyvin nuoresta iästään huolimatta Hercules onnistui voittamaan Chitaeronin leijonan vain kätensä ja oliivipuun kepin avulla. Tässä tarinassa ylistettiin oliivi voiman ja taistelun lähteenä.
Oliivipuuta, koska se oli pyhä, käytettiin usein kuolevaisten uhrina jumalille. Tämä kuvataan hyvin Attikan kansallissankarin Theseuksen tarinassa. Theseus oli Egeanmeren Attikan kuninkaan poika, joka teki lukemattomia seikkailuja koko elämänsä. Yksi niistä oli yhteenotto Minotauruksen kanssa Kreetan saarella. Ennen taistelua Theseus pyysi myös Apollolta suojaa.
Hedelmällisyys oli toinen oliivipuun ominaisuus. Athena on hedelmällisyyden jumalatar ja hänen symbolinsa oli yksi Kreikan viljellyimmistä puista, jonka hedelmät ruokkivat helleenejä vuosisatojen ajan. Siten ne, jotka halusivat lisätä maittensa hedelmällisyyttä, etsivät oliiviöljyä.
Muinaisen kreikkalaisen yhteiskunnan ja oliivipuun välinen suhde oli erittäin intensiivinen. Oliivi symboloi voimaa, voittoa, kauneutta, viisautta, terveyttä, hedelmällisyyttä ja oli pyhä uhri. Aitoa oliiviöljyä pidettiin arvokkaana esineenä ja tarjottiin palkinnoksi voittajille kilpailuissa.