機(jī)器學(xué)習(xí)問題常用技術(shù)：         決策樹         神經(jīng)網(wǎng)絡(luò)         支持向量機(jī)         貝葉斯分類         序列分析 聚類 分類         最近鄰，k近鄰，改進(jìn)近鄰 目前有多種比較成熟的算法，如貝葉斯分類、近鄰法、決策樹、神經(jīng)網(wǎng)絡(luò)、支撐向量機(jī)等。其中貝葉斯算法被認(rèn)為是效果良好的算法并被諸多學(xué)者所使用。 應(yīng)用驅(qū)動的機(jī)器學(xué)習(xí)方法 1、流形機(jī)器學(xué)習(xí)：稀疏數(shù)據(jù)的非線性方法 (特征抽取)。 2、增強(qiáng)學(xué)習(xí)：對變化環(huán)境適應(yīng)(機(jī)器人)。 3、多實(shí)例學(xué)習(xí)：半監(jiān)督學(xué)習(xí)(藥物設(shè)計(jì))。 4、ranking學(xué)習(xí)：需求是事物排序的學(xué)習(xí)(搜索引擎)。 5、數(shù)據(jù)流學(xué)習(xí)：大量數(shù)據(jù)快速過濾(有害信息過濾)。 有監(jiān)督方法：                  線性學(xué)習(xí)機(jī)LLM                  K最近鄰法KFA                  SIMCA法   無監(jiān)督方法：                   因子分析FA                   主成分分析PCA                    獨(dú)立成分分析ICA                    非線性成分分析 NLCA                     聚類分析clustering       半監(jiān)督學(xué)習(xí)：                     EM                      tsvm                       Co-training                     Self-training                          Graph-based                1989年，Carbonell指出機(jī)器學(xué)習(xí)有4個研究方向：連接機(jī)器學(xué)習(xí)、基于符號的歸納機(jī)器學(xué)習(xí)、遺傳機(jī)器學(xué)習(xí)與分析機(jī)器學(xué)習(xí)．十年過去了，1997年，Dietterich提出了另外4個新的研究方向：分類器的集成(Ensembles of classifiers)、海量數(shù)據(jù)的有教師學(xué)習(xí)算法(Methods for scaling up supervised learning algorithm)、增強(qiáng)機(jī)器學(xué)習(xí)(Reinforcement learn—ing)與學(xué)習(xí)復(fù)雜統(tǒng)計(jì)模型(Learning complex stochastic models)[5]．在理論上，我們可以將其進(jìn)一步歸納為三類不同的學(xué)習(xí)理論： 統(tǒng)計(jì)機(jī)器學(xué)習(xí)理論，海量數(shù)據(jù)的符號機(jī)器學(xué)習(xí)理論、基于適應(yīng)性的機(jī)器學(xué)習(xí)理論。 將討論聚焦在當(dāng)前的熱點(diǎn)問題上，由此，我們將主要討論下述四類機(jī)器學(xué)習(xí)的問題：(1)統(tǒng)計(jì)機(jī)器學(xué)習(xí)理論，(2)集成機(jī)器學(xué)習(xí)方法，(3)基于符號的歸納機(jī)器學(xué)習(xí)理論，(4)增強(qiáng)機(jī)器學(xué)習(xí)理論。（在理論上，集成機(jī)器學(xué)習(xí)方法可以歸入統(tǒng)計(jì)機(jī)器學(xué)習(xí)理論，但是，在技術(shù)上，這種方法具有重要的價值，因此本文中，我們將其作為一種獨(dú)立的機(jī)器學(xué)習(xí)類型進(jìn)行討論） 特征的提取是分類系統(tǒng)中最關(guān)鍵的部分之一．特征提取的好壞．直接關(guān)系到分類的性能基于判別熵最小化的特征提取。 機(jī)器學(xué)習(xí)算法的重要理論基礎(chǔ)是經(jīng)典的統(tǒng)計(jì)學(xué)，它的主要研究內(nèi)容是樣本數(shù)目趨于無窮大時的漸進(jìn)理論。基于VC理論的創(chuàng)造性機(jī)器學(xué)習(xí)方法SVM(Support Vector Machine如果研究者忘記SVM所基于的統(tǒng)計(jì)基礎(chǔ)，就與Vapnik的本意相悖了20世紀(jì)90年代中期，Vapnik和他領(lǐng)導(dǎo)的AT&T Bell實(shí)驗(yàn)室小組提出了基于統(tǒng)計(jì)學(xué)習(xí)理論、核函數(shù)映射理論的支持向量機(jī)(support vector machine，SVM)學(xué)習(xí)算法 ]，這是一種典型的小樣本機(jī)器學(xué)習(xí)算法，它一經(jīng)提出便以其卓越的理論性能、良好的泛化性能引起了機(jī)器學(xué)習(xí)領(lǐng)域研究者的廣泛關(guān)注。當(dāng)前，SVM在高光譜遙感影像解譯、模式分類 等領(lǐng)域都得到了十分成功的應(yīng)用，它已經(jīng)成為研究者用于解決小樣本學(xué)習(xí)問題的一種重要手段。