В 1929-1939 гг. занимался любительским боксом, в котором снискал славу одного из лучших легковесов США.

В 1933 г. Армстронг перешел в лигу профессионалов. В 1937 г., выступая в полулегком весе, отправил в нокаут П. Саррона, в мае 1938 г. во втором полусреднем весе победил неоднократного чемпиона мира Б. Росса, а в августе 1938 г. выиграл поединок с Лу Амберсом.

В 1939 г. в матче-реванше потерял свое звание чемпиона в легком весе, но во втором полусреднем весе 19 раз за два года завоевывал чемпионский титул.

В 1945 г. Армстронг ушел из спорта и, обладая ораторским талантом, решил попробовать себя в роли проповедника. В 1951 г. он был посвящен в сан баптистского священника.

Как боксер Армстронг отличался необыкновенной силой и выносливостью. Его манера ведения поединка - стремительный темп, агрессивность и жесткость - поражала противников. Именно из-за нее Армстронг получил такие прозвища, как "вечный двигатель" и "калифорнийская комета".