マウスクリックを始点として上下方向の移動量

マウスクリックを始点として上下方向の移動量を知りたいです。

C#

var point = (startPos + endPos) * 0.5f;

これだと移動量は分かるのですが上下左右で移動量を分割したいです。
カメラからforwardをもらってからどのように処理すればいいのか教えてください。