Dość osobliwa historia kościoła św. Jakuba sięga roku 1582, gdy wraz z przytułkiem dla chorych pielgrzymów, zmierzających do jasnogórskiego sanktuarium, wybudowano w tym miejscu kaplicę św. Jakuba. Gdy z upływem czasu obiekt uległ zniszczeniu, postanowiono rozebrać go, po czym w 1642 r. wzniesiono tu murowaną świątynię oraz większy niż dotychczas dom dla chorych pielgrzymów. Kościół odwiedził Jan III Sobieski, zmierzając pod Wiedeń. W roku 1786 osiedliły się w Częstochowie siostry Mariawitki, które opiekowały się świątynią do 1862, kiedy to powstał ich własny kościół zakonny.
Upadek powstania styczniowego przyniósł represje ze strony Rosjan - m.in. wysiedlenie sióstr z Częstochowy i konfiskatę ich klasztoru. Wkrótce władze carskie postanowiły wznieść w Częstochowie cerkiew. Ówczesny naczelnik powiatu częstochowskiego zdecydował, by rozebrać kościół i cerkiew postawić na jego miejscu. Wydarzenie zostało odebrane jako ewidentna demonstracja siły wobec Polaków. Częstochowscy robotnicy nie chcieli zresztą pracować przy rozbiórce, do której zatrudniono żołnierzy i robotników z głębi Rosji. Wzniesioną wkrótce cerkiew świętych Cyryla i Metodego poświęcono w roku 1872.
W czasie I wojny, w 1915 r., Niemcy urządzili tu kościół dla swoich żołnierzy-katolików. W 1918 obiekt przejęły władze kościoła katolickiego, powracając do wezwania św. Jakuba i w 1937 roku erygując tu parafię. Podczas II wojny władze nazistowskie przekazały obiekt na pewien czas grupie ludności prawosławnej, co było m.in. gestem związanym z tworzeniem proniemieckich jednostek wojskowych, złożonych z przedstawicieli narodów Europy Wschodniej.
W roku 1947 kościół z powrotem stał się parafią św. Jakuba. Wkrótce, z inicjatywy ks. Wojciecha Modrego, charakterystyczne kopuły bizantyjskie zamieniono częściowo na półkoliste, częściowo zaś na stożkowe daszki. W latach 1969-74 przebudowy wnętrza w stylu świątyni wczesnochrześcijańskiej (według projektu Stanisława Pospieszalskiego) dokonał ks. Tadeusz Ojrzyński.
