A szem színét elsősorban a szivárványhártya határozza meg. Latinul irisnek hívják, és a szemgolyót bélelő három réteg közül a középső, az érhártya folytatása. A szaruhártya és a szemlencse közé nyomulva alkotja szemünk színes részét, és szabályozza a szembogár, a pupilla tágasságát.

A szemszín a szivárványhártya pigmenttartalmának függvénye. A fő pigment itt is a melanin, azaz a barna festékanyag, mely a bőrben és a hajban is jelen van. Az iris hátsó rétegében a legtöbb ember szeme körülbelül azonos mennyiségű melanint tartalmaz, a különbségekért tehát nem ez felelős. A szivárványhártya elülső rétege határozza meg, milyen színben ragyog a szemünk.

Amennyiben sok pigment található itt, a szem barnának, vagy akár feketének fog hatni. Ha kevés a pigment, a szivárványhártya szürkés színű rostjaival és színtelen alapállományával lép kölcsönhatásba a szembe érkező fény, és ilyenkor kék színt érzékelünk. Ennek nagyjából ugyanaz a mechanizmusa, mint annak, ahogyan az eget is kéknek látjuk.

A közepes mennyiségű pigment átmeneti színeket, világosbarnát, szürkét, zöldet hoz létre. A zöld szemszín létrehozásában szerepet játszhat még a xantin nevű sárga pigmentanyag is, amely némelyek szemében a kevés melanin miatt visszatükröződő kék és a saját maga által visszavert sárga fény révén kelti zöld szem képét bennünk. Ugyanez a pigment felelős a némelyek szemében látható sárga „csillagok”, foltocskák jelenlétéért is. Tehát végül is van sárga szem, azaz sárga szín a szemben. Még lila is lehet – bizonyos fényviszonyok mellett – amikor az alapvetően kék szemre úgy esik a fény, hogy a szemfenék ereinek vörös színe is áttetszik.

A szem szépségét a színén kívül a mintázata is adja, világosabb szemszínek esetében kivehetők a szivárványhártya rostjai, ami kifejezetten kellemes látvány. Sokaknál az iris erősen pigmentált hátsó rétege a külső peremen áthajlik az elülső rétegbe, így sötét színű gyűrűt láthatunk a világosabb szemszín körül.

Az albinizmus nevű öröklődő betegségben a melanin termelése zavart szenved, ezért a bőr és a haj színtelensége mellett a szem is eltér a megszokottól. Ilyenkor ugyanis a szivárványhártya hátsó rétege sem tartalmaz festékanyagot, így azon áttetszenek az érhártya erei, és a szem ijesztő vörös, rózsaszín árnyalatúnak tűnik.

 A kaukázusi embertípusnál az újszülöttek szeme legtöbbször kék, és csak később, két-hároméves korra alakul ki a végleges szemszín. Ennek oka, hogy a szivárványhártya alapállományában lévő pigmenttermelő sejtek, a melanociták születésig nem, csak később, napfény hatására kezdik el a melanintermelést. Persze ez nem kötelező érvényű, hiszen nagyon sok – az ázsiai és afrikai rasszokban pedig szinte mindegyik – csecsemő már pigmentált, barna szemmel jön a világra