S-параметры.

Там используется метод конечных элементов (как в HFSS), только сетка двухмерная для каждого отдельного слоя. Взаимные влияния между слоями также учитываются. Подробнее почитать о применяемых мат. аппаратах можно в хелпе

Вроде как в мануале все прописано, могу ошибаться

но в хелпе только последовательность действий

Нет выражений и формул. Простые частные формулы выводятся для частных случаев (например в рамках теории цепей) и могут решать только принципиальные схемы, а не прозвольные 3-мерные конструкции из комбинаций металлов и диэлектриков.

Для симуляции поведения ЭМ волн на произвольных 3-мерных структурах используются только самые общие знания об электромагнетизме - 4 уравнения Максвелла. Чтобы смоделировать поведение волны во всем объеме расчетного пространства это пространство разбивается на огромную сетку (чаще всего или 2D-треугольников на поверхностях или 3D-тетраедров по объему) из тысяч и сотен тысяч элементов. 

Метод конечных элементов находит решение любой технической задачи, которая может быть описана конечным набором пространственных уравнений частной производной с определенной границей и начальными условиями. 

Чтобы получить набор алгебраических уравнений, которые будут решены, геометрия задачи автоматически разбивается на четырехгранные элементы (тетраэдры). Все эти объемные объекты модели автоматически объединяются в сетку генератором сетки (mesher). Набор всех тетраэдров называется сеткой конечных элементов модели или просто сеткой. В каждом четырехграннике переменные величины поля для вычисляемой области определяются многочленами второго порядка.

Метод моментов  -  это  решение уравнений Максвелла в интегральной форме в частотной области. Достоинство метода моментов заключается в том, что он является «методом источника», т.е. дискретизируется только интересующая структура, а не свободное пространство, как при решении уравнений для нахождении  я  поля  в  объеме.  При  этом граничные условия не требуются, а используемая память пропорциональна геометрии задачи и частоте.  Многослойная диэлектрическая среда, например, подложка для микрополосковой схемы, может моделироваться с применением функций Грина. Специальная форма функций Грина позволяет работать с бесконечными двумерными слоями конечной толщины, что позволяет при расчете учитывать все слои диэлектрика. При этом в процессе решения дискретизируются только проводящие поверхности и проводники внутри диэлектрических слоев, но не сами слои. 

Принцип эквивалентных поверхностей  использует понятие эквивалентных электрических и магнитных  токов, текущих по поверхности диэлектрического тела конечного размера. Такие тела могут иметь произвольную форму, а их поверхности 
представляются сеткой с треугольными ячейками. Данный метод также можно применять для поверхностей многослойных сред, разбивая их на конечные элементы. При этом граница объекта покрывается сеткой треугольных конечных элементов в соответствии с принципом SEP, в то время как внутренние слои моделируются на основе метода многослойных 
диэлектриков, что позволяет избежать сеточного представления  границ  диэлектриков  в многослойных диэлектрических структурах. 

Долгое время широкому распространению МКЭ мешало отсутствие алгоритмов автоматического разбиения области на “почти равносторонние” треугольники (погрешность, в зависимости от вариации метода, обратно пропорциональна синусу  или  самого  острого, или  самого тупого угла в разбиении). Эту задачу удалось успешно решить алгоритмами основанными на триангуляции Деполе