תנא מדור שני לתנאים, תלמידו של רבן יוחנן בן זכאי אשר כינהו "בור סוד שאינו מאבד טיפה" (מסכת אבות פרק ב משנה ח). היה מתלמידי שמאי (שבת דף קל ע"ב, וברש"י שם בשם הירושלמי), ורב מובהק של רבי עקיבא.
מסופר באבות דרבי נתן (פרק ו): "מה היה תחילתו של רבי אליעזר? בן עשרים ושתים שנה היה ולא למד תורה, פעם אחת אמר אלך ואלמוד תורה לפני רבן יוחנן בן זכאי. הלך וישב לו לפני רבן יוחנן בן זכאי בירושלים עד שיצא ריח רע מפיו. אמר לו רבן יוחנן בן זכאי: אליעזר בני, כלום סעדת היום? שתק... אמר לו: כשם שיצא לך ריח רע מפיך, כך יצא לך שם טוב בתורה. שמע עליו הורקנוס אביו שהיה לומד תורה אצל רבן יוחנן בן זכאי, אמר: אלך ואדיר אליעזר בני מנכסי. אמרו: אותו היום נתן עיניו רבן יוחנן בן זכאי ברבי אליעזר ואמר לו, פתח ודרוש. דחקוהו התלמידים, עמד ופתח ודרש בדברים שלא שמעתן אוזן מעולם. עמד הורקנוס אביו על רגליו ואמר, כל נכסי יהיו נתונים לאליעזר בני".
רבי אליעזר היה בירושלים בזמן המרד הגדול. סמוך לחורבן יצא רבי אליעזר מירושלים, יחד עם רבן יוחנן בן זכאי רבו ועם רבי יהושע חברו (גיטין דף נו ע"א), והיה לאחד מראשי החכמים ביבנה תחת הנהגת גיסו - רבן גמליאל הנשיא.
בגמרא מסופר (בבא מציעא דף נט ע"ב) על מחלוקת בעניין תנורו של עכנאי, שרבי אליעזר עמד על דעתו לטהר ולא קיבל דעת הרוב המטמאים, וכתוצאה מכך נידוהו. "תנא: באותו היום השיב רבי אליעזר כל תשובות שבעולם ולא קיבלו הימנו. אמר להם: אם הלכה כמותי חרוב זה יוכיח, נעקר חרוב ממקומו... אמרו לו: אין מביאין ראיה מן החרוב. חזר ואמר להם: אם הלכה כמותי אמת המים יוכיחו, חזרו אמת המים לאחוריהם. אמרו לו: אין מביאין ראיה מאמת המים. חזר ואמר להם: אם הלכה כמותי כותלי בית המדרש יוכיחו, הטו כותלי בית המדרש ליפול. גער בהם רבי יהושע, אמר להם: אם תלמידי חכמים מנצחים זה את זה בהלכה, אתם מה טיבכם? לא נפלו מפני כבודו של רבי יהושע, ולא זקפו מפני כבודו של רבי אליעזר, ועדין מטין ועומדין. חזר ואמר להם: אם הלכה כמותי מן השמים יוכיחו. יצאתה בת קול ואמרה: מה לכם אצל רבי אליעזר שהלכה כמותו בכל מקום! עמד רבי יהושע על רגליו ואמר: לא בשמים היא... שכבר כתבת בהר סיני בתורה, אחרי רבים להטות. אשכחיה רבי נתן לאליהו, אמר ליה: מאי עביד קודשא בריך הוא בההיא שעתא? אמר ליה: קא חייך ואמר, נצחוני בני, נצחוני בני. אמרו: אותו היום הביאו כל טהרות שטיהר רבי אליעזר ושרפום באש, ונמנו עליו וברכוהו. ואמרו: מי ילך ויודיעו? אמר להם רבי עקיבא: אני אלך, שמא ילך אדם שאינו הגון ויודיעו, ונמצא מחריב את כל העולם כולו. מה עשה רבי עקיבא? לבש שחורים ונתעטף שחורים, וישב לפניו בריחוק ארבע אמות. אמר לו רבי אליעזר: עקיבא, מה יום מיומים? אמר לו: רבי, כמדומה לי שחברים בדלים ממך. אף הוא קרע בגדיו וחלץ מנעליו, ונשמט וישב על גבי קרקע. זלגו עיניו דמעות, לקה העולם שליש בזיתים, ושליש בחטים, ושליש בשעורים... ואף רבן גמליאל היה בא בספינה, עמד עליו נחשול לטבעו, אמר: כמדומה לי שאין זה אלא בשביל רבי אליעזר בן הורקנוס. עמד על רגליו ואמר: ריבונו של עולם, גלוי וידוע לפניך שלא לכבודי עשיתי ולא לכבוד בית אבא עשיתי, אלא לכבודך, שלא ירבו מחלוקות בישראל. נח הים מזעפו".
על שעת מותו מסופר בגמרא (סנהדרין דף סח ע"א): "כשחלה רבי אליעזר, נכנסו רבי עקיבא וחבריו לבקרו. הוא יושב בקינוף שלו והן יושבין בטרקלין שלו... נכנסו וישבו לפניו מרחוק ארבע אמות. אמר להם: למה באתם? אמרו לו: ללמוד תורה באנו. אמר להם: ועד עכשיו למה לא באתם? אמרו לו: לא היה לנו פנאי. אמר להן: תמה אני אם ימותו מיתת עצמן. אמר לו רבי עקיבא: שלי מהו? אמר לו: שלך קשה משלהן. נטל שתי זרועותיו והניחן על לבו, אמר: אוי לכם שתי זרועותיי שהן כשתי ספרי תורה שנגללין, הרבה תורה למדתי והרבה תורה לימדתי. הרבה תורה למדתי, ולא חסרתי מרבותי אפילו ככלב המלקק מן הים. הרבה תורה לימדתי, ולא חסרוני תלמידי אלא כמכחול בשפופרת. ולא עוד אלא שאני שונה שלש מאות הלכות בבהרת עזה, ולא היה אדם ששואלני בהן דבר מעולם. ולא עוד אלא שאני שונה שלש מאות הלכות, ואמרי לה שלשת אלפים הלכות, בנטיעת קשואין, ולא היה אדם שואלני בהן דבר מעולם, חוץ מעקיבא בן יוסף. פעם אחת אני והוא מהלכין היינו בדרך, אמר לי: רבי, למדני בנטיעת קשואין, אמרתי דבר אחד נתמלאה כל השדה קשואין. אמר לי: רבי, לימדתני נטיעתן - למדני עקירתן. אמרתי דבר אחד, נתקבצו כולן למקום אחד. אמרו לו... מנעל שעל גבי האמוס מהו? אמר להן: הוא טהור. ויצאה נשמתו בטהרה. עמד רבי יהושע על רגליו ואמר: הותר הנדר, הותר הנדר". בגמרא מובא (סנהדרין דף סח ע"א) שרבי אליעזר נקבר בלוד, ורבי עקיבא תלמידו הספידו: "אבי אבי רכב ישראל ופרשיו, הרבה מעות יש לי ואין לי שולחני להרצותן". (אמנם ברחבת קבר הרמב"ם בטבריה יש קברים המיוחסים לרבן יוחנן בן זכאי ולרבי אליעזר ורבי יהושע תלמידיו, אך כאמור בגמרא מפורש שרבי אליעזר נקבר בלוד, וגם רבן יוחנן בן זכאי הרי עבר מיבנה לברור חיל המצוי בצפון הנגב, ואם כן ספק אם ניתן לסמוך על המסורת לגבי שלושה קברים אלו)
(כתב: הרב אוריאל לוי)