一九七一年秋、病身のウ・タントが再任を求めないと声明したとき、フィンランドの国連大使ヤコブセンはいちはやく立候補を声明した。ほかに数人の政治家や外交官の名前が下馬評にあがったが、オーストリアの国連大使ワルトハイムも出馬の意志があることを明らかにしていた。安保理事会でヤブセンとアルゼンチンの国連大使デーロサはそれぞれ九票以上を集めたが、中国やソ連の拒否権に敗れ、数回の投票の後ワルトハイムが、賛成一二反対一、棄権三で理事会の推薦を得たので、二一月二二日の総会はかれを第四代事務総長に任命した。ちょうど五三歳の誕生日を迎えていたワルトハイムは、外務大臣を一回、国連大使を前後二回経験し、一九七〇年には自国の大統領選挙に立候補して小差で敗れた。二六年間の外交官経験の持主であるこのチエコ系オーストリア人は、多民族国家の伝統的な勢力均衡政策をよく身につけているといってよかった。

ワルトハイムは事務総長に就任するやいなや、数多くの国連加盟国を精力的に歴訪して各国の指導者と懇談しfまた沈滞した事務局上層部の人事の更新を断行した。また八〇〇〇万ドルにおよぶ国連の累積赤字の解消にも熱意をみせた。ナミビア、ベトナムなどの問題では事務総長として積極的に貢献する意欲を見せたが、問題の根が深すぎることと関係当事国が冷淡だっだため、あまり効果のある行動はとれなかった。

かれは、一九七二年秋の総会にテロリズムの問題をとりあげることを提案したが、問題の複雑さと根まわしの不足のため、総会はこれといった結論に達することができなかった。しかし中東国連緊急軍の結成、資源と開発に関する特別総会、再発したキプロス危機などでのワルトハイムの疲れを知らない多面的な活躍ぶりは注目をあびた。国連を国際政局の中心におこうとする、かれの情熱と野心、またそれを実現するために東介函‥走して休むことを知らない行動的な性格は、高く評価された。

一九七七年に再任されてからも、ワルトハイムは国連を国際政治の中心にかくために、精力的に動いた。一九八〇年初頭、かれは生命の危険を‐して革命ドのテヘランに飛び、人質として捕えられていたアメリカ外交官の釈放をとりっけようと努力した。翌年メキシつのカンクンで開催された南北サミットでは、南側一四ヵ国と北側八ヵ国の首脳が集り、「国連包括交渉」を最大の焦点としたが、ワルトハイムは会議の分裂を回避するために、メキシコ大統領とカナダ首相の議長団を助け、妥協を見出すのに力を貸した。一九八〇年九月、イランーイラク戦争の勃発に際して、ワルトハイムはいちはやく、両国に自制をうながし、外交交渉の席につくことを訴え、緊急安保理事会の開催を要請した。

かれの懸命の努力にもかかわらず、南北関係は好転しなかったし、多くの局地紛争も解決しなかった。保守化した北側の一部の国々では、ワルトハイム事務総長が発展途上国に好意的すぎるという批判が生れ、また中東紛争についてアラブ諸国寄りであるという見方もあった。こうした冷淡な雰囲気に焦立つたかれは、あくまでも国連への執念を捨てず、仕事の鬼に終始した。