Mr Garang (left) is now the second most powerful man in Sudan
His inauguration came after President Omar al-Bashir signed a power-sharing constitution at a ceremony in the capital, Khartoum.
Southern Sudan is to be given some autonomy and former rebels are due to take up cabinet seats next month.
The US has welcomed the changes, but urged the government to resolve the separate conflict in the Darfur region.
One-and-a-half million people died in the conflict between the mainly Muslim north and Christian south, which lasted 21 years.
The new constitution is a key aspect of a peace deal agreed in January.
As well as being named national vice-president, Mr Garang will head the autonomous administration in southern Sudan for six years, ahead of a referendum on possible secession.
Political change
United Nations Secretary General Kofi Annan and South African President Thabo Mbeki were among world leaders watching Saturday's ceremony.
The BBC's Jonah Fisher in Khartoum says that everyone in Sudan is acutely aware that the failure of this agreement would mean the end of Sudan as a united country.
This is not my peace or the peace of al-Bashir, it is the peace of the Sudanese people
John Garang
Profile: John Garang
US Deputy Secretary of State Robert Zoellick said the power-sharing cabinet was an important step in improving relations with Washington
But he urged Khartoum to do more to improve security and access to relief in Darfur.
"This new government of national unity creates a new opportunity for the government of Sudan to take on these challenges," he said.
Mr al-Bashir described the new constitution as a "new path" for Sudan.
"We will all co-operate and all unite in order to restore to Sudan, God willing, all that it missed out on in the last 50 years," he said.
'Day of peace'
Under the new constitution, Sudan's current ruling party will have 52% of the government and parliament, and Mr Garang's Sudan People's Liberation Movement (SPLM) 28%.
Northern and southern opposition parties will take the remaining 20%.
On Friday, Mr Garang and his wife were greeted by government ministers and dignitaries as they flew into Khartoum for the first time since the civil war began.
There were chaotic scenes on the streets of the capital where teeming southern Sudanese were anxious to welcome the beginning of a new era, our correspondent says.
At a private meeting, Mr al-Bashir welcomed his former enemy to Khartoum, saying it was a "day of real peace".
"I congratulate the Sudanese people, this is not my peace or the peace of al-Bashir, it is the peace of the Sudanese people," Mr Garang said after the meeting.
Mapa Sudanu
Do sporych zmian dochodzi w targanym do niedawna wojną Sudanie. Dawny przywódca opozycji chrześcijańsko-anoimistycznego południa kraju, które od 1980 walczyło o niezawisłość z usiłującą narzucić islamski ''szariat'' Północą, co według szacunków miało pochłonąć 1,5 mln ofiar, jest teraz także szefem autonomicznego Południa. John Garang został zaprzysiężony na wiceprezydenta kraju, w którym nadal jest niespokojnie, szczególnie w rejonie Darfuru, gdzie w zeszłym roku ataki konnych jeźdźców - dżandżawidów na murzyńską ludność prowincji doprowadziły do katastrofy humanitarnej. W ciągu 6 lat ma się odbyć referendum na Południu, w którym mieszkańcy mają wypowiedzieć się, czy chcą stworzyć własne państwo, czy też pozostać w Sudanie - do tej opcji będzie dążył rząd w Chartumie, dla którego strata obfitujących w ropę prowincji byłaby poważnym ciosem, dlatego też nowa konstytucja przewiduje, że 52% nowego parlamentu zajmą członkowie obecnie rządzącej na Północy partii, podczas gdy zwolennicy Garanga - 28%.

Pozostałe 20% przypadnie opozycji z obu części kraju, co już nie podoba się niektórym jej przedstawicielom. Sadiq al-Mahdi, były premier, uznał projekt traktatu za obustronne porozumienie dwóch partii bez szerszych konsultacji, który jest krokiem w dobrym kierunku, ale niedostatecznym, wezwał też pozostałe siły do monitorowania ''opresji i korupcji'' w Sudanie. Amerykanie uznali, że zawarte porozumienie jest krokiem do ocieplenia chłodnych do tej pory stosunków między USA a Sudanem. Oprócz referendum przewiduje także, że prawo koraniczne nie zostanie rozszerzone na Południe, a zyski z handlu ropą (która niedawno przekroczyła magiczny próg 60 dolarów za baryłkę), zostaną przeznaczone na rozwój całego kraju.