Dalam pembelajaran mesin, perceptron adalah algoritma pembelajaran terawasi untuk pengklasifikasi biner. Hal ini juga sering disebut perceptron. Pengklasifikasi biner adalah fungsi yang dapat memutuskan apakah suatu input, yang diwakili oleh vektor angka, termasuk dalam beberapa kelas tertentu. Ini adalah jenis pengklasifikasi linier, yaitu, algoritme klasifikasi yang membuat prediksinya berdasarkan fungsi prediktor linier yang menggabungkan sekumpulan bobot dengan vektor fitur.
Dalam beberapa tahun terakhir, jaringan saraf tiruan telah mendapatkan perhatian karena kemajuan dalam pembelajaran yang mendalam. Tapi apa itu jaringan saraf tiruan dan terdiri dari apa?
Temui Perceptron
Dalam artikel ini, kita akan melihat sekilas jaringan saraf tiruan secara umum, kemudian melihat satu neuron, dan terakhir (ini adalah bagian pengkodean) kita akan mengambil versi paling dasar dari jaringan saraf tiruan. neuron, perceptron, dan mengklasifikasikan titik-titiknya menjadipesawat.
Pernahkah Anda bertanya-tanya mengapa ada tugas yang begitu mudah bagi siapa saja, tetapi sangat sulit bagi komputer? Jaringan Syaraf Tiruan (disingkat JST) terinspirasi oleh sistem saraf pusat manusia. Seperti rekan biologisnya, JST dibangun di atas elemen pemrosesan sinyal sederhana yang digabungkan menjadi grid besar.
Jaringan saraf harus belajar
Tidak seperti algoritme tradisional, jaringan saraf tidak dapat "diprogram" atau "disetel" agar berfungsi sebagaimana mestinya. Sama seperti otak manusia, mereka harus belajar untuk menyelesaikan tugas. Secara kasar, ada tiga strategi pembelajaran.
Cara termudah dapat digunakan jika ada kasus uji (cukup besar) dengan hasil yang diketahui. Kemudian pelatihan berjalan seperti ini: memproses satu set data. Bandingkan hasilnya dengan hasil yang diketahui. Siapkan jaringan dan coba lagi. Ini adalah strategi pembelajaran yang akan kita gunakan di sini.
Pembelajaran tanpa pengawasan
Berguna jika tidak ada data uji yang tersedia dan jika mungkin untuk menurunkan beberapa fungsi biaya dari perilaku yang diinginkan. Fungsi biaya memberitahu jaringan saraf seberapa jauh dari target. Jaringan kemudian dapat menyesuaikan parameternya dengan cepat, bekerja dengan data nyata.
Pembelajaran yang Diperkuat
Metode "wortel dan tongkat". Dapat digunakan jika jaringan saraf menghasilkan tindakan berkelanjutan. Seiring waktu, jaringan belajar untuk memilih tindakan yang benar dan menghindari tindakan yang salah.
Oke, sekarang kita tahu sedikit tentangsifat jaringan saraf tiruan, tapi sebenarnya terbuat dari apa? Apa yang akan kita lihat jika kita membuka tutupnya dan melihat ke dalam?
Neuron adalah blok bangunan jaringan saraf. Komponen utama dari setiap jaringan saraf tiruan adalah neuron buatan. Mereka tidak hanya dinamai berdasarkan rekan biologis mereka, tetapi mereka juga dimodelkan berdasarkan perilaku neuron di otak kita.
Biologi vs teknologi
Sama seperti neuron biologis memiliki dendrit untuk menerima sinyal, badan sel untuk memprosesnya, dan akson untuk mengirim sinyal ke neuron lain, neuron buatan memiliki beberapa saluran input, tahap pemrosesan, dan satu output yang dapat bercabang ke banyak lainnya. neuron buatan.
Bisakah kita melakukan sesuatu yang berguna dengan satu perceptron? Ada kelas masalah yang dapat dipecahkan oleh satu perceptron. Pertimbangkan vektor input sebagai koordinat titik. Untuk vektor dengan n-elemen, titik ini akan hidup dalam ruang n-dimensi. Untuk menyederhanakan hidup (dan kode di bawah), mari kita asumsikan itu 2D. Seperti selembar kertas.
Selanjutnya, bayangkan kita menggambar beberapa titik acak pada bidang ini dan membaginya menjadi dua set dengan menggambar garis lurus di atas kertas. Garis ini membagi titik-titik menjadi dua set, satu di atas dan satu di bawah garis. Kedua himpunan tersebut kemudian disebut dapat dipisahkan secara linier.
Satu perceptron, tidak peduli seberapa sederhana kelihatannya, dapat mengetahui di mana garis ini berada, dan setelah selesai pelatihan, ia dapat menentukan apakah suatu titik tertentu berada di atas atau di bawah garis ini.
Sejarahpenemuan
Algoritme untuk metode ini ditemukan pada tahun 1957 di Cornell Aviation Laboratory oleh Frank Rosenblatt (sering dinamai menurut namanya), yang didanai oleh US Office of Naval Research. Perceptron dimaksudkan untuk menjadi mesin, bukan program, dan meskipun implementasi pertamanya dalam perangkat lunak untuk IBM 704, itu kemudian diimplementasikan pada perangkat keras yang dibuat khusus sebagai "Mark 1 Perceptron". Mesin ini dirancang untuk pengenalan gambar: mesin ini memiliki susunan 400 fotosel yang terhubung secara acak ke neuron. Bobot dikodekan dalam potensiometer dan pembaruan bobot selama pelatihan dilakukan oleh motor listrik.
Pada konferensi pers yang diselenggarakan oleh Angkatan Laut AS pada tahun 1958, Rosenblatt membuat pernyataan tentang perceptron yang menyebabkan perdebatan sengit di antara komunitas AI muda; berdasarkan klaim Rosenblatt, New York Times melaporkan bahwa perceptron adalah "komputer elektronik embrionik yang diharapkan Angkatan Laut untuk dapat berjalan, berbicara, melihat, menulis, mereproduksi dirinya sendiri, dan menyadari keberadaannya."
Perkembangan lebih lanjut
Meskipun perceptron awalnya tampak menjanjikan, dengan cepat terbukti bahwa perceptron tidak dapat dilatih untuk mengenali banyak kelas pola. Hal ini menyebabkan stagnasi di bidang penelitian dengan jaringan saraf perceptron selama bertahun-tahun sebelum diakui bahwa jaringan saraf feed-forward dengan dua atau lebih lapisan (juga disebutmultilayer perceptron) memiliki lebih banyak kekuatan pemrosesan daripada single layer perceptrons (juga disebut single layer perceptrons). Perceptron lapisan tunggal hanya mampu mempelajari struktur yang dapat dipisahkan secara linier. Pada tahun 1969, buku terkenal "Perceptrons" oleh Marvin Minsky dan Seymour Papert menunjukkan bahwa kelas jaringan ini tidak dapat mempelajari fungsi XOR. Namun, ini tidak berlaku untuk fungsi klasifikasi non-linier yang dapat digunakan dalam perceptron lapisan tunggal.
Penggunaan fungsi tersebut memperluas kemampuan perceptron, termasuk implementasi fungsi XOR. Hal ini sering diasumsikan (salah) bahwa mereka juga berasumsi bahwa hasil yang sama akan berlaku untuk jaringan perceptron multilayer. Namun, ini tidak terjadi, karena baik Minsky dan Papert sudah mengetahui bahwa perceptron multilayer mampu menghasilkan fungsi XOR. Tiga tahun kemudian, Steven Grossberg menerbitkan serangkaian makalah yang menyajikan jaringan yang mampu memodelkan fungsi diferensial, fungsi peningkatan kontras, dan fungsi XOR.
Karya diterbitkan pada tahun 1972 dan 1973. Namun, teks Minsky/Papert yang sering diabaikan menyebabkan penurunan minat dan pendanaan penelitian yang signifikan dengan perceptron jaringan saraf. Sepuluh tahun berlalu sebelum penelitian jaringan saraf dihidupkan kembali pada 1980-an.
Fitur
Algoritma Kernel Perceptron diperkenalkan pada tahun 1964 oleh Yzerman et al. Mori dan Rostamizadeh (2013), yang memperpanjang hasil sebelumnya dan memberikan batasan baru L1.
Perceptron adalah model sederhana dari neuron biologis. Sementara kompleksitas model saraf biologis sering diperlukan untuk memahami perilaku saraf sepenuhnya, penelitian menunjukkan bahwa model linier seperti perceptron dapat menginduksi beberapa perilaku yang terlihat pada neuron nyata.
Perceptron adalah pengklasifikasi linier, sehingga tidak akan pernah masuk ke keadaan dengan semua vektor input diklasifikasikan dengan benar jika set pelatihan D tidak dapat dipisahkan secara linier, yaitu. jika contoh positif tidak dapat dipisahkan dari contoh negatif oleh hyperplane. Dalam hal ini, tidak ada solusi "perkiraan" yang akan selangkah demi selangkah melalui algoritma pembelajaran standar, sebaliknya pembelajaran akan gagal sepenuhnya. Oleh karena itu, jika keterpisahan linier dari set pelatihan tidak diketahui secara apriori, salah satu opsi pelatihan di bawah ini harus digunakan.
Algoritma Saku
Algoritme saku ratchet memecahkan masalah ketahanan pembelajaran perceptron dengan menjaga solusi terbaik yang sejauh ini ditemukan "di dalam saku". Algoritma saku kemudian mengembalikan solusi di saku daripada solusi terakhir. Ini juga dapat digunakan untuk kumpulan data yang tidak dapat dipisahkan di mana tujuannya adalah untuk menemukan perceptron dengan sedikit kesalahan klasifikasi. Namun, solusi ini terlihat stokastik dan karenanya algoritma saku tidak cocok untuk mereka.secara bertahap selama pelatihan, dan mereka tidak dijamin akan terdeteksi selama sejumlah langkah pelatihan.
Algoritma Maxover
Algoritma Maxover adalah "kuat" dalam arti bahwa ia akan menyatu terlepas dari pengetahuan tentang keterpisahan linier dari kumpulan data. Dalam kasus pemisahan linier, ini akan menyelesaikan masalah pembelajaran, bahkan secara opsional dengan stabilitas optimal (margin maksimum antar kelas). Untuk kumpulan data yang tidak dapat dipisahkan, solusi dengan sedikit kesalahan klasifikasi akan ditampilkan. Dalam semua kasus, algoritma secara bertahap mendekati solusi selama proses pembelajaran, tanpa mengingat keadaan sebelumnya dan tanpa lompatan acak. Konvergensi terletak pada optimalitas global untuk kumpulan data bersama dan optimalitas lokal untuk kumpulan data yang tidak dapat dipisahkan.
Voted Perceptron
Algoritme Perceptron Terpilih adalah varian yang menggunakan beberapa perceptron berbobot. Algoritme memulai perceptron baru setiap kali contoh salah diklasifikasikan, menginisialisasi vektor bobot dengan bobot akhir perceptron terakhir. Setiap perceptron juga akan diberikan bobot yang berbeda sesuai dengan berapa banyak contoh yang mereka klasifikasikan dengan benar sebelum salah mengklasifikasikan satu, dan pada akhirnya output akan menjadi suara berbobot di seluruh perceptron.
Aplikasi
Dalam masalah separable, pelatihan perceptron juga dapat ditujukan untuk menemukan batas pemisahan terbesar antar kelas. DisebutPerceptron stabilitas optimal dapat ditentukan menggunakan pelatihan iteratif dan skema optimasi seperti algoritma Min-Over atau AdaTron. AdaTron mengeksploitasi fakta bahwa masalah optimasi kuadrat yang sesuai adalah cembung. Perceptron stabilitas optimal, bersama dengan trik kernel, adalah dasar konseptual dari mesin vektor dukungan.
Alternatif
Cara lain untuk menyelesaikan masalah non-linier tanpa menggunakan banyak lapisan adalah dengan menggunakan jaringan tingkat tinggi (blok sigma-pi). Dalam jenis jaringan ini, setiap elemen dari vektor input diperluas oleh setiap kombinasi berpasangan dari input yang dikalikan (orde kedua). Ini dapat diperluas ke jaringan n-order. Perceptron adalah hal yang sangat fleksibel.
Namun, ingatlah bahwa pengklasifikasi terbaik belum tentu pengklasifikasi yang secara akurat mengklasifikasikan semua data pelatihan. Memang, jika kita memiliki kendala sebelumnya bahwa data berasal dari distribusi Gaussian varian yang sama, pemisahan linier dalam ruang input optimal, dan solusi non-linier ditimpa.
Algoritme klasifikasi linier lainnya termasuk Winnow, vektor dukungan, dan regresi logistik. Perceptron adalah kumpulan algoritme universal.
Cakupan utama untuk pembelajaran yang diawasi
Pembelajaran yang diawasi adalah tugas pembelajaran mesin yang mempelajari fungsi yang memetakan input ke outputberdasarkan contoh pasangan I/O. Mereka menyimpulkan fitur dari data pelatihan berlabel yang terdiri dari serangkaian contoh. Dalam pembelajaran terawasi, setiap contoh adalah pasangan yang terdiri dari objek input (biasanya vektor) dan nilai output yang diinginkan (juga disebut sinyal kontrol).
Algoritme pembelajaran terawasi menganalisis data pelatihan dan menghasilkan perkiraan fungsi yang dapat digunakan untuk menampilkan contoh baru. Skenario optimal akan memungkinkan algoritme menentukan label kelas dengan benar untuk instance yang tidak terlihat. Ini membutuhkan algoritma pembelajaran untuk menggeneralisasi data pembelajaran ke situasi yang tidak terlihat dengan cara yang "masuk akal".
Tugas paralel dalam psikologi manusia dan hewan sering disebut pembelajaran konseptual.
