Старожил деревни Малая Елховка Н.Г.Зайцев вспоминал: "В церковной книге читал, что название Елховки произошло от ольхи. Большая указывает, что рядом находится меньшее селение с таким же названием. Долгое время жилые строения были старенькими, саманные стены, кровля соломенная. В селе пять улиц. "Борисовкой" называлась по фамилии барина Борисова, "Метальневка" по фамилии барина Метальнева, "Косырёвка" по фамилии Косырёвых , которые проживали на этой улице . "Алтаем" называли отдалённую от других улицу". Сейчас многие улицы переименованы и носят названия Первомайская, Красная, Октябрьская, Набережная.

Большая Елховка расположена в 12 километрах от Саранска и в 10 километрах от райцентра. В трёх километрах от села проходит автотрасса Саранск-Ульяновск.

До 1928 года Большая Елховка входила в состав Пятинской волости Саранского уезда Пензенской губернии Средневолжского края. После образования Мордовской АССР и в 1933 году национального Лямбирского района Большая Елховка стала центром сельского совета, куда вошли село Александровка, деревни Малая Елховка, Владимировка, Шувалово и посёлок Красный Дол. Первым председателем сельского совета был С.Н.Аношин. В августе 1984 года Большая Елховка преобразована в посёлок, а с 1 января 2004 года - снова в село. На территории села расположен железнодорожный разъезд Елховка.

В 1934 году в Елховке был организован колхоз им. Ленина. Председателем был избран М.М.Сурков. В 1948 году начали и через год завершили строительство МТС (машинно-тракторной станции).