Analysis was performed in GP to fit the data to the model that best describes the data by initially comparing the 3‑parameter vs 4-parameter fit followed by comparing it to a linear fit.

Чтобы данные соответствовали модели, наилучшим образом описывающей данные, анализ выполняли с помощью GP путем первоначального сравнения соответствия по 3 параметрам и 4 параметрам с последующим сравнением линейных приближений.

(примерно так?)

А вот при прочтении второй фразы я совсем упала духом:

With the non-linear fit, basically a Hill function with variable Hill slope was compared to a Hill function with гамма  fixed at 1 using the built-in extra sum-of-squares F test, with the simpler ( гамма = 1) model preferred unless the P value was less than 0.05.

Подскажите, пожалуйста, как это перевести?

Тогда:  With the non-linear fit, basically a Hill function with variable Hill slope was compared to a Hill function with  Hill slope  fixed at 1 using the built-in extra sum-of-squares F test

При нелинейном приближении функцию Хилла с переменным коэффициентом Хилла преимущественно сравнивали с функцией Хилла с фиксированным значением 1 с использованием дополнительной суммы квадратов F-теста.

Или ерунду написала? :)

Я давно уже не занимался регрессионным анализом и, пожалуй, отстал от жизни, но при попытке выяснить, что означает  непереведенная аббревиатура  GP, я наткнулся на  статью  Quick Start to Gaussian Process Regression ( https://towardsdatascience.com/quick-start-to-gaussian-process-regression-36d838810319 ).

Ваш вариант перевода первого предложения мне, честно скажу, не понравился.

Во-первых, я бы не стеснялся термина "подгонка". Во-вторых, вопреки написанному, фразу to fit the data to the model я бы перевел "наоборот": модель подгоняют под данные, а не иначе. Автор, как мне думается, торопился и написал не то, что надо. (Если Вы сомневаетесь в моих словах, найдите более сведущего человека.) В третьих, надо выяснить, что такое  GP. Если это, как мне показалось,  gaussian process regression, надо будет узнать, что это такое, и освоить хотя бы азы. Без этого добиться соответствия по смыслу можно только по счастливой случайности.

Что скажете по поводу второго абзаца?

При нелинейном приближении функцию Хилла с переменным коэффициентом Хилла преимущественно сравнивали с функцией Хилла с  коэффициентом Хилла , имеющим фиксированное значение 1, используя содержащуюся в программе дополнительную сумму квадратов F-теста.

При использовани нелинейной модели (главным образом, Хилла с вариабельным угловым коэффициентом) производилось ее сравнение с функцией Хилла с фиксированным параметром гамма, равным 1, используя вложенный F-критерий суммы квадратов, при этом предпочтительной являлась наиболее простая модель (с параметром гамма = 1), за исключением случаев когда значение Р составляло менее 0,05.