Обозначим число мужчин за Х, женщин за Y, детей за Z.
Имеем два уравнения:
20x + 7y + 3z = 200
x + y + z = 20 Выразим из второго Z:
z = 20 - x - y
И подставляем в первое:
20x + 7y + 60 - 3x - 3y = 20
17x + 4y = 140
Это диофантово уравнение, можно решать его обычным методом, но мне после двух банок пива влом, и я пошел другим путем.
Обратим внимание, что по условию X, Y и Z больше нуля.
А значит x + y < 20
Теперь еще обратим внимание, что 17х должно быть четным, а значит х - четное. А у - при этом целое. Начинаем тупой перебор вариантов (х = 2, 4, 6, 8...) и уже при х = 8 натыкаемся на подходящие значения:
х = 8, у = 1
Ну и z = 11.