佛教中，惯用“五百”、“八万四千”等来形容众多的意思，和我国古人用“三”或“九”来表示多数的情况很相像。五百比丘、五百弟子、五百阿罗汉，在佛教经典中固然是常见的，但并不意味着是固定的数字。可是随着人们对十六罗汉的崇奉，五百罗汉像便在五代时期见于绘画和雕塑，不久便有许多寺庙建立了五百罗汉堂。

五百罗汉的来历，有以下几种说法：其一指跟随佛祖听法传道的五百弟子；其二指参加印度佛教史上第一次结集三藏或第四次结集三藏的五百比丘；其三则言五百罗汉为五百大雁所化；其四说五百罗汉的前身是五百蝙蝠。

五代时，对五百罗汉的尊崇特别兴盛。吴越王钱氏造五百铜罗汉于天台山方广寺。后周太祖显德元年（954年），道潜禅师得吴越钱忠懿王的允许，迁雷峰塔下的十六大士像于净慈寺，创建五百罗汉堂。宋太宗雍熙二年（985年）造罗汉像五百一十六身（十六罗汉与五百罗汉），奉安于天台山寿昌寺。宋仁宗供施石桥五百应真的敕书载《天台山志》。各地寺院也多建五百罗汉堂。

各地名山也有罗汉洞或竹林圣僧寺的传说。如河南嵩山就有五百罗汉洞。据宋徽宗崇宁元年（1102年），释有挺撰《中岳寺五百大阿罗汉洞记》中称：唐初蜀僧法藏始感得灵异，知山中竹林寺是圣僧所居。宋代院主崇敬，因选定此洞，造五百罗汉像。现存的五百罗汉堂有北京碧云寺、成都宝光寺、苏州西园寺、汉阳归元寺、昆明筇竹寺等处。

五百罗汉图像的绘塑在中国究竟始于何时，无法确知，不过当与十六罗汉图像同时。依《佛祖统纪》所载，可知北宋初年已有五百罗汉的画像。宋朝秦观曾作《五百罗汉图记》。秦观的图记叹称吴僧法能所画的五百罗汉一轴，其艺事可与五代画十六罗汉的贯休竞美。

佛经中虽然多次提到五百罗汉，但都没有列出具体的名号和事迹。《大明续藏经》收有南宋高道素所录江阴军《乾明院五百罗汉名号碑》一卷，列举第一罗汉阿若陈如尊者到第五百罗汉愿事众尊者。当今佛寺中之五百罗汉像，多依之列名。

由于五百罗汉塑像众多，非一般佛殿所能容纳，因此罗汉堂多在佛寺后殿西侧，独立成院，成平面为“田”字形的格局，中间设四个小天井，以四大名山塑座为中心，正中常供奉三世佛、千手观音等，四壁列座五百罗汉像。由于建罗汉堂用工耗资甚巨，所以带罗汉堂的佛寺多为大寺名刹，如北京香山碧云寺、苏州西园戒幢律寺、上海龙华寺、湖北汉阳归元寺、四川新都宝光寺、云南昆明筇竹寺、广州华林寺等。

有趣的是，由于五百罗汉人数众多，有关他们的生平事迹亦多模糊，这就使一些人有机会把自己的样子也塑成罗汉形象。如四川新都宝光寺罗汉堂里就有康熙和乾隆两位皇帝的塑像，他们分别被塑成第295阇夜多尊者和第360直福德尊者。因康熙出天花留下了麻子，塑像的脸上也“写实”地刻下了5个一团的“梅花”状麻点。北京碧云寺罗汉堂里第444破邪见尊者，顶盔挂甲，一派英武的戎装打扮，正是乾隆皇帝的罗汉造像。

到了近代，五百罗汉形象多采自神话、小说，有些寺院还塑造了大量平民形象的罗汉。如兴建于光绪九年（1883年）的昆明筇竹寺，雕塑家黎广修不仅把当时筇竹寺的方丈、自己及几个徒弟塑成罗汉形象，还塑造了许多游民、农夫、武士、儒生、小贩、樵夫等形象的罗汉，显示了一定的民主、平等色彩，给人一种平易亲切的感觉。

在近代罗汉堂中，除印度传来的五百罗汉外，常有一癫一疯两位中国“土著”罗汉出现，即济公和疯僧。济公实有其人，是南宋时的僧人，俗名李修元。据民间传说，他不守戒律，举止如痴似狂，被称为“济癫僧”。由于他扶弱济贫，遂被神化为降龙罗汉转世。疯僧是南宋初时的一位颇有胆识的疯跛和尚，也称“十不全和尚”，即有口歪、眼斜、手残、脚跛等十样毛病。他以痛斥奸臣秦桧而被人尊为罗汉，跻身罗汉堂中享受人间香火。在罗汉堂中，济公和疯僧常被同时供奉，一癫一疯相映成趣，为神圣肃穆的罗汉堂平添了几分情趣和亲切感。