Добрый день!
Есть функция 0,3(ctg(x))^2
и Mathcad-программы для ее решения:

TOL=
TOL:=0.5
x0:=1
x1:=0.5
x:=x0
f(x):=0,3(ctg(x))^2
solution:=root(f(x),x)
solution=

Можно ли решить это уравнение в SMath Studio, и если да, то как?

Попробуйте функции solve(2) или solve(4) из диалога вставка функции. Правда, ваша функция решаться не будет, а вот если вычтете из нее 0,5 например, то получите множество решений. Очевидно, причина в том, что ваша функция ось ординат на пересекает, а только касается.