Подсказка 1

Корень равен числу -> пусть правая часть будет неотрицательна, и тогда возведём в квадрат обе части. Придется немножко повозиться с разложением на множители левой части. Вот мы уравнение упростили, насколько возможно (свободный член равен 1), а затем домножим его на 9 и вынесем за скобку 3у, а свободный член перенесем вправо со знаком минус, чтобы он не мешал.

Подсказка 2

Да, далее мы замечаем, что в скобке есть выражение -9х, а рядом стоит -18х -> создадим еще одну скобку 30у-9х с коэффициентом 2, чтобы мы учли те самые -18х. Отсюда у нас появились бесплатные 60у, которые мы здесь же и вычтем (пришло-ушло). Теперь наше выражение такого вида: (..)*(..) - 60у = -9. Нам нужно запихнуть теперь эти -60у как-то в скобки. Причем в одной из них уже есть множитель 3у.

Подсказка 3

Ну конечно, получим (3у+2)(30у-9х-20), но мы для этого вычли 40, значит правая часть стала на 40 меньше, т.е. равна -49. Домножим правую часть на -1, а в левой части в скобке, где есть минусы, поменяем знаки на противоположные, тогда получится выражение вида (...)*(...) = 49. Ура! Теперь, помня, что работаем в целых числах, переберем все возможные варианты скобок и возьмем только те ответы, в которых наши переменные окажутся целыми, а также удовлетворят изначальному условию на корень.