虹の色の数は現在の日本では一般的に七色（赤、橙、黄、緑、青、藍、紫）と言われるが、地域や民族・時代により大きく異なり、ドイツでは五色、スウェーデンでは六色（赤、黄、青、緑、桃、藍）である。日本でも古くは五色、沖縄地方では二色（赤、黒または赤、青）とされていた。なお現代でもかつての沖縄のように明、暗の2色として捉える民族は多い。
赤地に黄、緑、青の縞（赤、黄、赤、緑、赤、青、赤）だとする地域（インドネシア、フローレンス島）も存在し、スペクトルとして光学的に定められた概念とは異なった順序として色が認識されることも多い。
スペクトルの項で後述するが虹を7色としたのはイギリス人の科学者ニュートンが最初であり、「オリジナルの基本色は、赤・黄・緑・青・菫それに橙・藍がありその中間に無限の変化がある」と述べている。故にイギリスでは一般的に虹は7色とされている。
右の画像は、日本手話の「虹」。「七色」を数詞の7で示し上方にアーチを描く。日本手話の数詞はソロバンと同じで、親指が5。他の指が1。画像は5+2で7となる。日本人の「虹の七色」という近代の虹のイメージからこの表現が選ばれたという。