Не думаю, что самое оптимальное решение, но ничего попроще пока не придумалось:



Пусть AC = AH = x, BH = y, BO = z.
Тогда периметр треугольника равен 2x+y+z+6 = 54.

Выразим x, y и z через угол альфа (а):

Из прямоугольного треугольника AHO:
x = 6/tg(a/2).
Из прямоугольного треугольника BHO:
y = 6*tg(a), z = 6/cos(a)

Итак, выражение для периметра становится таким:

12/tg(a/2)+6*tg(a)+6/cos(a)+6 = 54
1/cos(a) + 2/tg(a/2) + tg(a) = 8.

Тут удобно всё выразить через тангенс половинного угла:
(1+(tg(a/2))^2)/(1-(tg(a/2))^2) + 2/tg(a/2) + 2*tg(a/2)/(1-(tg(a/2))^2) = 8.

Обозначим t = tg(a/2), получим
(1+t^2)/(1-t^2)+2/t+2t/(1-t^2) = 8

Путём несложных преобразований приводим это к виду
9t^2 - 9t + 2 = 0

(1) t1 = 1/3
(2) t2 = 2/3

Выражаем обратно x и z (y нам в принципе уже не нужен, поскольку площадь треугольника будет равна половине произведения катетов, т.е. x*(z+6)/2. Хотя и y тоже по хорошему стоит вычислить и проверить, получается ли периметр равным 54).

Итак, для случая (1) имеем:
z = 6/cos(a) = 6/((1-1/9)/(1+1/9)) = 7.5
x = 6/tg(a/2) = 6/(1/3) = 18.
S = x*(z+6)/2 = 121.5

Для случая (2) имеем:
z = 6/cos(a) = 6/((1-4/9)/(1+4/9)) = 15.6
x = 6/tg(a/2) = 6/(2/3) = 9.
S = x*(z+6)/2 = 97.2

Ответ: 121.5 или 97.2