您的AI項目失敗的5種方法,第5部分:與部署有關的失敗“style=
訂閱

經過:克裏斯托弗·S·佩恩(Christopher S. Penn)

打印此頁

2022年6月20日

您的AI項目失敗的5種方法,第5部分:與部署有關的失敗

編者注:這篇文章是在信托Insights的許可下重新發布的,Trust Insights是一家公司,可幫助營銷人員解決/實現收集數據並衡量其數字營銷工作的問題。
單擊相應的鏈接以閱讀第1部分,,,,第2部分,,,,第3部分第4部分這個係列

反複感知人工智能AI是神奇的,可以從無到有地創造出一些東西會導致許多項目誤入歧途。

這就是2019年Price Waterhouse首席執行官調查顯示,美國公司中隻有不到一半的公司正在進行戰略性AI計劃 - 失敗的風險很大。在本係列中,我們正在研究您在AI之旅開始時公司將失敗的最常見的AI項目方式。在您自己的AI計劃中,請注意這些失敗的方法,以及對這些失敗進行補救或防止它們的方法。

在討論失敗之前,讓我們刷新對AI項目生命周期的記憶是了解應該發生的事情。

即時見解:AI/機器學習生命周期“width=

抓住生命周期的整頁PDF從我們對該主題的即時見解並跟進。

現在,我們已經確定了前四個部分中的主要問題,讓我們將目光轉向生命周期部署部分可能遇到的主要問題:

  • 模型部署
  • 模型調整

模型部署

清除AI和機器學習的最重要的誤解之一是,它在操作上與其他任何技術都大不相同。機器學習從根本上是軟件開發;結果 - 模型 - 本質上隻是一塊軟件。

主要區別在於,機器將其寫作而不是人類編寫軟件。我們根據我們提供的數據來訓練機器以編寫計算機,但是從根本上講,適用於人類軟件開發的相同規則也適用於機器軟件開發。

因此,在機器學習和AI中發布軟件時,人類犯了同樣的錯誤。就像人類可以編寫鈍的,難以理解的代碼一樣,機器也可以創建缺乏兩者的模型解釋性解釋性

解釋性是我們作為人類檢查模型,逐步檢查並理解機器如何組裝模型的能力。這對於我們對模型的理解以及機器處理數據時所做的決策至關重要。當今機器學習策略最重要的方麵之一是確保機器學習中的偏見和降低。缺乏可解釋性的模型實際上可以保證偏見。即使像IBM推出可解釋性軟件這樣的軟件負責人,許多AI項目也缺乏任何可解釋性。

解釋性是我們作為人類解釋AI軟件結果的能力。解釋性不是逐步分解模型,而是研究了模型的整體結果,它們與我們的要求和目標保持一致,以及它們是否符合監管和法律措施(例如公平,偏見等))。當我們開始AI/機器學習生命周期時,我們指定了業務需求,當我們開始數據部分時,我們指定了數據要求。這些要求也構成了軟件測試計劃的基礎,這是測試我們的模型正在滿足期望的方法。有了可靠的測試計劃和可靠的解釋性,我們可以確定我們的模型是否已通過或失敗。

可解釋性和解釋性的挑戰之一是,與人寫的源代碼不同,可以逐條檢查,機器學習模型可能非常具有挑戰性。但是,監管要求迫使供應商以更好的解釋性和解釋性為基礎。現在,機器學習工程師的負擔是將這些技術作為標準開發過程的一部分來利用這些技術。

因此,在我們的模型部署中缺乏可解釋性和解釋性的解毒劑是從一開始就使用當今最新的技術來將兩者都構建到我們的模型中。這意味著使用IBM,Google,Microsoft和Amazon等成熟,經過驗證的模型提供商,並確保我們適當地投資於部署管理係統。

模型調整

如果機器學習中的部署與常規軟件產品的部署/啟動相同,那麼在啟動後,模型調整等效於技術支持,當時軟件產品的行為不預期。導致大多數AI項目在此階段失敗的關鍵問題稱為模型漂移。

模型漂移是當模型接收到使其漂移超出可接受參數或越來越差的結果時發生的情況。模型漂移最著名的例子是微軟不明智的Twitter聊天機器人Tay,該聊天機器人於2016年推出,在24小時內,Twitter用戶重新訓練為種族主義色情機器人。如果沒有任何構成不可接受的性能的準則,該模型就迅速陷入了令人發指的行為。

更常見且不那麼戲劇性的是模型的性能僅降低到非AI解決方案所提供的實例。之所以發生這種情況,是因為該模型是在沒有適當的額外再培訓和準確指南的情況下進行的。

模型漂移的解毒劑是使用機器學習模型管理軟件,該模型管理軟件要求人類監視模型並提供有關可接受性能和不可接受的指南,如果模型的重新訓練不佳,則對模型進行了更正。此類軟件的一個例子是IBM的Watson Openscale,它密切關注模型,並在模型的性能低於特定點或模型表現出偏見的跡象時向人類管理員提供警報。當OpenScale檢測模型漂移時,它會警告人類管理員對是否重新驗證模型,更改監視參數或在最壞情況下(例如Microsoft Tay)做出關鍵決策,請立即關閉模型。

下一步:總結並審查

在本係列的最後一篇文章中,我們將重新訪問機器學習生命周期和關鍵課程,以便您進入您的第一個AI項目。敬請關注!

關於克裏斯托弗·S·佩恩

克裏斯托弗·S·佩恩(Christopher S.

披露:營銷AI研究所撰寫BETVlCTOR1946伟德並推薦了AI驅動的營銷和銷售技術。在所有情況下,內容和建議都是獨立和客觀的。在某些情況下,營銷AI研究所可BETVlCTOR1946伟德能與上述公司有業務關係,其中可能包括財務補償,會員薪酬或以產品或服務為實物付款。查看研究所合作夥伴清單這裏和Maicon讚助商這裏