Первая ошибка -- насчёт того, что давление внизу меньше. Исправляем:
mg=integrate (h from 0 to H) ρg(H-h)*dS(h) = integrate (h from 0 to H) ρgH*dS(h) - integrate (h from 0 to H) ρgh*dS(h) ------------- (1)
Вторая ошибка -- забыл в одном месте R, когда раскрывал малую единицу площади dS, потом ещё где-то R потерял:
integrate (h from 0 to H) ρgh*dS(h) = integrate (α from 0 to arcsin(H/R)) ρgRsin(α)*2π(Rcos(α))*Rdα = integrate (α from 0 to arcsin(H/R)) ρgR*π*sin(2α)*R^2*dα = -0,5πρgR^3cos(2α) (α from 0 to arcsin(H/R)) = -0,5πρgR^3 ( cos(2arcsin(H/R))-1) = -0,5πρgR^3 ( 1-2(H/R)^2-1) = πρgRH^2 -------------- (2)
Первый интеграл из суммы в (1):
integrate (h from 0 to H) ρgH*dS(h) = integrate (α from 0 to arcsin(H/R)) ρgH*2π(Rcos(α))R*dα = 2πρgHR^2 * integrate (α from 0 to arcsin(H/R)) cos(α)dα = 2πρgHR^2 * sin(α) (α from 0 to arcsin(H/R)) = 2πρgHR^2 * H/R = 2πρgRH^2 (3)
Компилируем (1), (2) и (3), и не забываем из обоих частей сократить по g, в прошлый раз я забыл.
m=2πρRH^2 - πρRH^2 = πρRH^2

H=sqrt(m/πρR)

Если что, загадывать снова не буду, нечего пока.