2004年奥运会的会徽是由一支橄榄枝弯曲成的类似花环形状的图案，这一图案来源于古希腊奥运会。在古代奥运会上，橄榄花环是颁发给冠军的奖品。橄榄树还是雅典市的市树。而会徽所使用的蓝、白两种颜色在拥有蓝色大海、白色建筑的希腊是最常见的颜色。这两种颜色也是希腊国旗的颜色。
（资料来源：奥运中国  中国奥委会网站）