Я решал через уравнение окружности:
(x-x0)^2+(y-y0)^2 = R^2, где x0,y0 - координаты центра, а R - радиус.

Предположим, центр большой окружности совпадает с началом координат. Тогда её уравнение
x^2+y^2 = 17


Ещё предположим, что точка B лежит на оси абсцисс, то есть её координаты (sqrt(17);0). В треугольнике ABM (он прямоугольный, как и любой треугольник, вписанный в окружность так, что одна из его сторон является её диаметром) находим сначала AM, а потом AH - высоту, опущенную к BM из точки А.
Для этого придется решить некрасивую систему уравнений, из которой станет известна не только длина AH (8/sqrt(17)), но и координаты точки A - (sqrt(17)-2/sqrt(17); 8/sqrt(17)).

Теперь у нас есть координаты двух точек малой окружности, и мы можем вычислить координаты её центра. Для этого составляем систему из двух уравнений окружности, в одно из которых вместо (x,y) подставляем координаты точки B, а во второе - соответственно, A:

(sqrt(17)-x0)^2+(-y0)^2 = 5
(sqrt(17)-2/sqrt(17)-x0)^2+(8/sqrt(17)-y0)^2 = 5

Если мы чудом её решим и не ошибёмся, то получим две пары значений координат центра второй окружности:

1. (8/sqrt(17); 2/sqrt(17)) (на рисунке - красная окружность)
2. (24/sqrt(17); 6/sqrt(17)) (на рисунке - синяя окружность).

Зная координаты центра для каждого случая, находим координату x точки С Она у нас лежит на оси абсцисс, поэтому чтобы это сделать, достаточно в уравнении окружности приравнять y к нулю и решить его относительно x:

1. (x-8/sqrt(17))^2+(2/sqrt(17))^2=5
2. (x-24/sqrt(17))^2+(6/sqrt(17))^2=5

Решая эти два уравнения, получаем по два корня. В обоих случаях один из них будет sqrt(17) (координата точки B), а другой -

1. x = -1/sqrt(17)
2. x = 31/sqrt(17)

Осталось только для обоих случаев найти MC и подставить в формулу площади треугольника MC*AH/2:

1. S = 64/17
2. S = 192/17