A comparative study on multi-task uncertainty quantification in semantic segmentation and monocular depth estimation

Deep neural networks excel in perception tasks such as semantic segmentation and monocular depth estimation, making them indispensable in safety-critical applications like autonomous driving and industrial inspection. However, they often suffer from overconfidence and poor explainability, especially for out-of-domain data. While uncertainty quantification has emerged as a promising solution to these challenges, multi-task settings have yet to be explored. In an effort to shed light on this, we evaluate Monte Carlo Dropout, Deep Sub-Ensembles, and Deep Ensembles for joint semantic segmentation and monocular depth estimation. Thereby, we reveal that Deep Ensembles stand out as the preferred choice, particularly in out-of-domain scenarios, and show the potential benefit of multi-task learning with regard to the uncertainty quality in comparison to solving both tasks separately. Additionally, we highlight the impact of employing different uncertainty thresholds to classify pixels as certain or uncertain, with the median uncertainty emerging as a robust default. Tiefe neuronale Netze zeichnen sich durch ihre exzellenten F & auml;higkeit in Wahrnehmungsaufgaben wie der semantischen Segmentierung und monokularen Tiefensch & auml;tzung aus, was sie f & uuml;r sicherheitskritische Anwendungen wie autonomes Fahren und industrielle Inspektion unverzichtbar macht. Allerdings leiden sie oft unter Selbst & uuml;bersch & auml;tzung und schlechter Erkl & auml;rbarkeit, insbesondere bei dom & auml;nenfremden Daten. W & auml;hrend sich die Quantifizierung von Unsicherheiten als vielversprechende L & ouml;sung f & uuml;r diese Herausforderungen herausgestellt hat, m & uuml;ssen Multi-task-Szenarien noch erforscht werden. Um diese L & uuml;cke in der aktuellen Literatur zu f & uuml;llen, evaluieren wir Monte Carlo Dropout, Deep Sub-Ensembles und Deep Ensembles f & uuml;r die gemeinsame semantische Segmentierung und monokulare Tiefensch & auml;tzung. Dabei zeigt sich, dass deep Ensembles vor allem au ss erhalb des Dom & auml;nenspektrums zu bevorzugen sind und der potenzielle Vorteil von Multi-task-Lernen im Hinblick auf die Qualit & auml;t der Unsicherheit im Vergleich zur getrennten L & ouml;sung beider Aufgaben deutlich wird. Dar & uuml;ber hinaus zeigen wir die Auswirkungen der Verwendung verschiedener Unsicherheitsschwellenwerte zur Klassifizierung von Pixeln als sicher oder unsicher, wobei sich der Median als robuster Standard herausstellt.