Hampir selama 10 tahun Ellison menghabiskan waktu untuk menulis kode komputer, termasuk perusahaan teknologi Ampex Corporation, tempatnya mengerjakan proyek database Oracle untuk CIA.
Adapun, melansir dari situs Jhonny Thiodoran, Ellison mendapat ide mendirikan Oracle setelah membaca makalah penelitian IBM tentang basis data relasional.
Pemikirannya yang cerdas tentu saja membawanya pada kekayaannya sekarang ini. sebab, ia melihat ini merupakan potensi besar dari teknologi yang menawarkan cara untuk mengatur data berukuran besar agar mudah untuk diakses.
Kemudian di tahun 1977, ia beserta rekan-rekannya di Ampex, Bob Miner, dan Ed Oates nekat untuk menggunakan tabungan mereka sebesar $2.000 untuk mendirikan Software Development Laboratories, yang saat ini dikenal sebagai Oracle.
Oracle untuk pertama kalinya dirilis pada tahun 1979, kemudian dilanjutkan pada tahun 1983 Ellison mendirikan Oracle System Corporation dan menjabat sebagai CEO Oracle sejak 1977 hingga 2014.
Di pertengahan tahun 1990-an, Elliosn sempat saingi Microsoft Corporation dengan menawarkan alternatif yang lebih terjangkau untuk komputer pribadi (PC) yang disebut Network Computer (NC).
