Die Regentschaft Karls IV. war vom Statthalterstreit und sich anbahnenden Verfassungskonflikt geprägt. Schon 1854 hatte das Storting beschlossen, das Statthalteramt aufzuheben, was damals sowohl von König Oskar I., als auch dem damaligen Statthalter Serverin Lövenskjöld, der 1856 zurücktrat, abgelehnt wurde. Kronprinz Karl übernahm für ein Jahr den Vorsitz der Regierung in Norwegen, übernahm dann für seinen erkrankten Vater Oskar I. zunächst die Regentschaft in Norwegen und Schweden und folgte diesem 1859 auf den Thron. Da man in Norwegen glaubte, daß der neue König Karl IV. dem Land wohlgesonnen war, versuchte das Storting erneut, das Statthalteramt aufzuheben, worauf es zum Streit kam. Schweden forderte eine stärkere Unterordnung Norwegen, so daß das Amt erhalten blieb, auch wenn es nicht mehr besetzt wurde. Zur Aufhebung kam es erst 1873, als König Oskar II. die Thronfolge antrat.

Neben diesem Konflikt kam es zum Ende der Regentschaft Karls IV. zu einem weiteren Streit in der Union, dem sog. Verfassungskonflikt. Ursprünglich ging es zunächst um die abgelehnte Teilnahme der Minister an den Debatten im Storting. Stang war 1861 nach langer Krankheit in die Regierung zurückgekehrt. Bei den Wahlen zum Storting von 1851 hatte der Rechtsanwalt Johan Sverdrup (1861-1892) ein Mandat errungen. Er gehörte zwar zur "Advokatenpartei", wie die verbeamteten Juristen genannt wurden, bemühte sich aber um ein Bündnis mit den Bauern, bei denen nicht mehr geistliche Beamte, sondern Lehrer und Küster bäuerlicher Herkunft in der Mehrzahl waren. Bei der Wahl zum Storting im Jahre 1869 konnten die Bauernvertreter die absolute Mehrheit erzielten. Die Bauervertretung im Parlament, die bisher immer abgelehnt hatten, daß das Storting jährlich tagte, war nun auf einmal dafür, weil sie sich eine Stärkung des Parlaments erhoffte. Es stimmten 81 Abgeordnete dafür und ab 1871 tagte das Parlament dann jährlich. Getagt wurde in einem Gebäude, das 1857-66 nach Plänen des schwedischen Architekten Emil Victor Langlet gebaut worden war. Das es zum Streit innerhalb der Union kam, lag an Karl IV. (und seinem Nachfolger Oskar II). Der König trat dafür ein, daß die von Stang geleitete Regierung nicht an den Debatten des Storting teilnahm. Karl IV: lehnte es ab, den Beschluß vom 9. März 1872 zu unterschreiben. Das Storting sprach deshalb am 16. Mai der Regierung das Mißtrauen aus.

1863 erschienen fünf Freimarken mit dem Motiv "Wappen", wobei die Wertziffer nur links angebracht war. Bei den fünf Wappen-Marken aus dem Jahre 1867 war die Wertziffer dann links und rechts angebracht. Bei den Werten zu 3, 4, und 8 Sk werden jeweils zwei Farbvarianten unterschieden. 1872 wurden dann erstmals Marken mit dem Motiv "Posthorn" emissiert, die bis heute als norwegische Freimarken verwendet werden und die älteste noch verwendete Dauerserie der Welt ist. Von allen fünf Marken der ersten Ausgabe gibt es verschiedenen Farbvarianten.