История Т-28 началась в 1930 году с визита в Великобританию советской закупочной комиссии во главе с С. Гинзбургом, в чью задачу входило приобретение наиболее современных образцов бронетехники и отправка их в СССР для изучения и использования при организации собственного бронетанкового производства. Одним из танков, особенно заинтересовавших комиссию, стал новейший в то время средний танк A6 фирмы «Виккерс», более известный как «Виккерс 16-тонный». Однако фирма «Виккерс» отказалась продать готовый образец танка ввиду его секретности и выдвинула советской стороне следующие условия для приобретения машины:
Единовременный платёж в размере 20 000 фунтов стерлингов (порядка 200 000 рублей золотом) за ознакомление с конструкцией и развитием танков этого типа. Заказ у фирмы «Виккерс» 10 танков этого типа по цене 16 000 фунтов стерлингов (160 000 рублей золотом) за танк без вооружения. Дальнейший заказ у фирмы танкеток Карден-Ллойд Mk.VI и лёгких танков Виккерс Mk.E. Такие условия советской делегацией были сочтены неприемлемыми, и было принято решение от приобретения A6 отказаться и вместо этого создать танк такого класса собственными силами с использованием опыта, полученного при изучении в Великобритании образца A6.
Эскизное проектирование нового танка было поручено факультету моторизации и механизации Военно-технической академии им. Ф. Дзержинского, а также созданному 28 января 1931 года танко-тракторному конструкторскому бюро ВОАО. Оба проекта были готовы к июлю того же года. По результатам их сравнения, руководством Управления моторизации и механизации был выбран имевший индекс Т-28 проект конструкторского бюро ВОАО, основными разработчиками которого были начальник бюро С. Гинзбург, его заместитель В. Заславский и инженеры-конструкторы О. Иванов и А. Гаккель. В конструкции танка были использованы как данные, полученные при изучении A6, так и опыт, накопленный конструкторами в ходе советско-германского сотрудничества начала 1930-х годов (в частности, разработки танка ТГ и испытаний немецких танков на полигоне под Казанью). По первоначальному проекту, танк должен был сохранять общую компоновку A6, иметь вес около 16 тонн и нести вооружение из 45-мм пушки и пулемёта в главной башне и ещё двух пулемётов — в малых. Бронирование танка должно было составлять 20 мм в лобовой части корпуса и 16—17 мм на остальных вертикальных поверхностях, крыша должна была изготовляться из 10-мм, а днище — из 8-мм бронелистов. В качестве силовой установки был выбран авиационный двигатель М-5 мощностью 400 л. с., уже устанавливавшийся на танках БТ-2. Также в конструкции предполагалось широко использовать другие узлы и конструктивные решения уже находившихся в производстве БТ-2 и Т-26.
28 сентября 1931 года Управление моторизации и механизации заключило с ВОАО договор на изготовление рабочих чертежей и сборку двух опытных образцов Т-28 к 1 мая 1932 года. Первый прототип танка, получивший наименование Т-28-1, из неброневой стали, был закончен в мае и совершил первый испытательный пробег 29 мая 1932 года. От изначального проекта прототип отличался установкой более мощного двигателя М-17, а также установкой 37-мм пушки ПС-2 вместо 45-мм, поскольку последняя всё ещё не была готова к тому времени. 11 июня 1932 года Т-28 был продемонстрирован командованию Управления моторизации и механизации РККА. Танк в целом получил положительную оценку, однако военные потребовали установки на него, начиная уже со второго опытного образца, дизельного двигателя ПГЕ, находившегося в то время в разработке, и 76-мм пушки ПС-3. С учётом этих замечаний, а также результатов испытаний первого прототипа, проект Т-28 был в августе-сентябре 1932 года кардинально переработан — в большей или меньшей степени изменены были почти все узлы и системы танка, за исключением лишь двигательной установки, поскольку указанный дизель так и не был доведён до приемлемого уровня. После этого, в конце октября 1932 года, даже не дожидаясь изготовления опытного образца, Советом труда и обороны СССР было принято решение о серийном производстве танка.