В начале 1901 года Уильям Сильвестр Харли (William Sylvester Harley), которому было всего 22 года, разработал проект для маленького двигателя объёмом 115 см³. Следующие два года Харли и его друг детства Артур Дэвидсон (Arthur Davidson) трудились над велосипедом с мотором, используя гараж в доме их друга Генри Мелка. Работа была завершена к 1903 году с помощью брата Артура. По завершении работы юноши поняли, что их творение не в состоянии покорить даже скромные холмы Милуоки без помощи педалей. По этой причине Харли и Дэвидсон решили оставить свой велосипед с двигателем как первый, не очень удачный опыт.

Вслед за этим немедленно началась работа над новым, более современным мотоциклом. Этот первый «настоящий» мотоцикл Harley-Davidson имел двигатель объемом 405 см³ весом чуть менее 13 кг. Новая продвинутая рама была аналогична раме мотоцикла 1903 Milwaukee Merkel (сконструированного Джозефом Меркелем, создателем Flying Merke). Новая трубчатая рама и двигатель большего объёма сделали новую модель Харли-Дэвидсон уже не велосипедом с мотором, а мотоциклом в современном понимании. В разработке нового мотора помог инженер Оле Эвинруд, один из пионеров американского моторостроения.

Прототип нового мотоцикла был создан в сарае размером 3 на 5 метров, который стоял во дворе дома семьи Дэвидсонов. Впрочем, большинство основных узлов были изготовлены в других местах, в основном в мастерской железнодорожного депоЗападного Милуоки, где старший из братьев, Уильям А. Дэвидсон, работал инструментальщиком. Прототип был закончен 8 сентября 1904 года и в тот же день принял участие в мотогонках на State Fair Park. Гонщиком был Эдуард Хилдебранд, он закончил гонку четвёртым. Эта гонка стала первым документированным появлением мотоцикла Харли-Дэвидсон.

В январе 1905 года в журнале Automobile & Cycle Trade Journal появилась первая маленькая реклама, сообщающая о том, что двигатели фирмы Harley-Davidson появились в свободной продаже. В апреле продавались мотоциклы уже целиком, но в очень ограниченных количествах. В том году первый дилер Harley-Davidson, Карл Лэнд из Чикаго, продал три мотоцикла из дюжины собранных в сарае.

Позже этот легендарный сарай был поставлен в центре уже настоящей фабрики на Авеню Джуно, где он стоял много десятилетий как память о скромном происхождении культовой мотоциклетной компании. Позже, к сожалению, сарай был случайно уничтожен подрядчиками, в начале 1970-х нанятыми для уборки фабричного двора.

В 1906 году Харли и Дэвидсон построили свою первую фабрику на Chestnut Street (позднее улица была переименована в Авеню Джуно). Сегодня по этому адресу находится штаб-квартира компании. Первый завод на Авеню Джуно был деревянным зданием размером 12 на 18 метров. На этой «фабрике» в первый год было собрано уже 50 мотоциклов.

В 1907 году Уильям Харли получил высшее образование в университете Мэдисон в штате Висконсин по специальности инженер-механик. В этом же году фабрика обзавелась вторым этажом, что позволило значительно расширить производство. В 1907 году было выпущено 150 мотоциклов. Также компании удалось занять важную часть рынка, потому что в этом году удалось заключить договор, по которому Харлеи начали покупать для местной полиции.

Все мотоциклы, произведённые в 1905 и 1906 годах, были с одноцилиндровыми двигателями объёмом 440 см³. В феврале 1907 года на чикагской выставке автомобилей был впервые показан мотоцикл с двигателем V-Twin  (880 см³) мощностью около 7 лошадиных сил. Эти мотоциклы были почти в два раза мощнее первых одноцилиндровых. Максимальная скорость составила около 97 км/ч. Между 1908 и 1909 продажи мотоциклов выросли с 450 штук до 1’149.

В 1911 году была выпущена усовершенствованная модель двигателя V-twin. У нового двигателя было механическое управление впускным клапаном, в отличие от более ранних моделей, у которых впускной клапан открывался за счёт вакуума, создающегося в цилиндре. Объём нового двигателя был уменьшен до 810 см³, но за счёт более совершенной системы газораспределения мощность возросла почти в два раза. Большинство мотоциклов, выпущенных после 1913 года, оснащались этим новым двигателем.

В 1913 году кирпичное здание фабрики, построенное в 1910 году, было снесено и на его месте построено новое пятиэтажное здание из железобетона и красного кирпича. К 1914 году Харли-Дэвидсон стал ведущим производителем мотоциклов в США, обогнав своего главного конкурента — компанию «Индиан» В 1914 году продажи достигли отметки в 16 284 машин.

В 1916 году было первое документированное использование мотоциклов «Харли-Дэвидсон» вооружёнными силами. Боевики мексиканского повстанца Панчо Вилья использовали мотоциклы «Харли-Дэвидсон» для налётов на пограничные с Мексикой американские города. Им противостояли войска под командой генерала Першинга на мотоциклах «Индиан».

После начала Первой мировой войны фирма «Харли-Дэвидсон» получила первый официальный военный заказ — 500 мотоциклов были заказаны для армии Великобритании. В 1917 году Соединённые Штаты вступили в Первую мировую войну и мотоциклы начала заказывать и Армия США. Всего за время войны было заказано более 20 000 мотоциклов фирмы «Харли-Дэвидсон» для вооружения войск.

 

В 1920 году «Харли-Дэвидсон» стал крупнейшим производителем мотоциклов в мире. Их мотоциклы продавали дилеры в 67 странах. Производство составляло уже 28 189 машин. В 1921 году «Харли-Дэвидсон», за рулём которого был гонщик Отто Уолкер, впервые выиграл гонку, пройдя дистанцию со средней скоростью свыше 100 миль в час (160 км/ч).

В течение 1920-х мотоциклы снова были усовершенствованы. Появился новый 74-дюймовый (1 200 см³) двигатель V-Twin  в 1922 году, а в 1925 году впервые появился бензобак в виде капли, который стоит на большинстве современных моделей мотоциклов. В 1928 году на мотоциклах «Харли-Дэвидсон» появился передний тормоз. В конце лета 1929 года «Харли-Дэвидсон» выпустил новый мотоцикл с нижнеклапанным двигателем объёмом 45 кубических дюймов (750 см³). Новый мотоцикл должен был составить конкуренцию мотоциклам 101 «Скаут» фирмы Индиан  и «Супер Х» фирмы Эксельсиор.