Ich würde vorschlagen, du stellst eine Gerade auf die der x-3Achse entspricht, also g:x=(0/0/0)+t(0/0/1)

Diese gerade bringst du mit der Ebene zum Schnitt, aus den drei Punkten einfach die Paramterform umformen.

Schnittpunkt der Ebene mit der Gerade, also sozusagen durchstoßpunkt ist dann zB der Punkt D

Jetzt Verbindunsvektor OD ausrechnen also D-O die einzelnen x-werte quattrieren und summieren.
Aus dem Summand die Wurzel ziehen, fertig.

Geht denk ich mal auch einfacher, aber so müsst auf jedenfall gehen :)