Pembahasan tentang regresi multivariat kita mulai dari konsep multi variabel. Pada regresi linear biasa kita hanya menggunakan satu buah input x untuk menentukan suatu nilai y. pada multi fitur, misalkan nilai harga rumah yang bergantung pada jumlah kamar, luas tanah, dan umur rumah, mempunyai lebih dari satu parameter input.

Turunan Gradien
untuk mendapatkan nilai terkecil dari fungsi biaya kita bisa menggunakan turunan gradien. Kita melakukan iterasi untuk mendapatkan estimasi fungsi linear terbaik.

Penyekalaan fitur
Untuk membuat proses pembelajaran mesin lebih cepat, maka penyekalaan fitur perlu dilakukan. Hal ini dilakukan dengan membagi setiap nilai dalam fitur dengan nilai maksimum. Proses ini akan menghasilkan nilai di antara 1 dan -1.

Normalisasi Rataan
salah satu pra pengolahan menggunakan pengurangan setiap nilai dalam suatu fitur dengan nilai rataan dari fitur tersebut. Teknik ini disebut sebagai Normalisasi rataan.

Penentuan laju pembelajaran
Yang diinginkan dari koefisien laju pembelajaran adalah fungsi biaya harus berkurang setelah setiap iterasi dan konvergen pada suatu iterasi. Salah satu kriteria konvergen adalah jika pengurangan fungsi biaya kurang dari nilai tertentu yang kecil. Jika laju terlalu besar, maka fungsi biaya akan melewatkan nilai terkecil. nilai laju yang terlalu besar pula menyebabkan osilasi pada fungsi biaya. jika nilai laju terlalu kecil, maka konvergensi akan lama tercapai. cara yang biasa dilakukan adalah dengan menggunakan ujicoba nilai laju dari yang sangat kecil.

Regresi Fitur dan Polinomial
Jika pada regresi linear kita menganggap bahwa data bersifat linear, maka kita pada regresi polinomial kita menganggap bahwa data bisa jadi berperilaku seperti kurva kuadrat , kubik, atau lebih tinggi,atau juga akar kuadrat. Hal ini bisa dilakukan dan kita  bisa awali dengan melakukan penentuan kurva melalui observasi, jika misal jika data cenderung naik, maka tidak mungkin kurva berbentu kuadrat,karena jika ada koefisien negatif pada orde tertinggi maka kurva tidak cocok.