メンゲルベルクは彫刻工のドイツ系の父のもとオランダ、ユトレヒトに生まれました。幼い頃より楽才を発揮し、ケルン音楽院でベートーヴェンの孫弟子フランツ・ヴュルナーに師事。1891年にルツェルン市立歌劇場の指揮者となり、95年には弱冠24歳でアムステルダム・コンセルトヘボウ管弦楽団の首席指揮者に就任。以後50年にわたって同団を率い、世界屈指のオーケストラに育成しました。
メンゲルベルク&コンセルトヘボウの精緻なアンサンブルと圧倒的な表現力は同時代の作曲家を魅了し、1898年にR.シュトラウスが同コンビに交響詩《英雄の生涯》を捧げたのは有名です。また、1902年に指揮者として初めてコンセルトヘボウ管弦楽団に客演したマーラーとは、すっかり意気投合し、以後、マーラーがアムステルダムに客演する際にはホテルに泊めさせず、自宅に泊めて延々と音楽談義を楽しみました。また、マーラーのリハーサルにも必ず出席し、その指示をスコアに書き留めました。他にもグリーグ、ラフマニノフ、レスピーギ、ストラヴィンスキー、ミヨーといった大作曲家たちと懇意にしていました。また、チャイコフスキーの弟、モデストとも親しく、チャイコフスキーが演奏した際の書き込み入りのスコアを贈られています。交響曲第5番第4楽章におけるメンゲルベルクのカットは、チャイコフスキーが再演の際に行ったカットであることが明らかになっています。ベートーヴェン演奏においても、師から授けられたベートーヴェン自身のテンポと総演奏時間のデータを譜面に書き込んで使っていました。
1920年代にはオランダ文化を体現する存在として国民の人気を集め、「Het Leven」誌が1922年と27年に行った「最も人気のある20人のオランダ人は誰か」という読者投票で、多くの有名人を抑えて2回連続第1位を獲得するほどでした。今の日本でいえば、イチローやビートたけしクラスの人気者になるでしょう。
1930年代にはオランダ1の有名人である上に外国での収入も増え、高価なキューバ産の葉巻を吸い、タクシーに頻繁に乗るというライフスタイルが税務当局に目を付けられ、税の支払いを巡って当局と対立。1933年にはスイスへの移住を決断しました。
メンゲルベルクの運命が暗転したのは、オランダがナチス占領下にあった1940年7月11日のこと。この日、オランダの朝刊紙「テレグラフ」がナチスの機関誌に載ったメンゲルベルクのインタビューを転載。メンゲルベルクがナチス・ドイツと降伏したオランダとの休戦協定をシャンパンで祝った、という内容が掲載されたことで、オランダの多くの市民がメンゲルベルクを「裏切り者」と見做すようになったのです。
メンゲルベルクはフルトヴェングラー以上に政治にナイーブで、1940年10月にユダヤ人作曲家、マーラーの交響曲第1番の演奏許可を求め、ナチス当局を唖然とさせます。この1回だけは許可されて、第1はアムステルダムとハーグで演奏されましたが、これがメンゲルベルクにとって生涯最後のマーラー演奏となりました。その後はユダヤ人作曲家はもちろん、独ソ開戦後はチャイコフスキーの演奏も許されなくなりました。また、ドイツ、フランス、ハンガリーなどナチス・ドイツ支配下のオーケストラに客演を続けたことも戦後仇となりました。
1944年6月のパリでのベートーヴェン第9演奏が結果として生涯最後の演奏会となり、その後、スイスの自宅山荘に戻ったまま、戦後はオランダからビザを停止され、欠席裁判により生涯演奏停止(その後6年に短縮)の命令を下され、復帰を果たさぬまま1951年に80歳の生涯を閉じました。