Günümüzde yapay zeka, şirketler için pazardaki rekabeti daha da artıran en önemli konulardan birisi haline geldi. Her yıl şirketler tarafından çok yüksek bütçeler yapay zeka ve analitik projelerine aktarılıyor ve bu bütçelerin gittikçe büyümesi bekleniyor(1) . Harcanan bütçelerin yüksekliğine rağmen VentureBeat tarafından yayınlanan rapora göre, veri bilimi projelerin %87'si canlı ortama dahi geçemiyor.(2) Gartner’a göre de analitik modellerin sadece %20’si iş çıktıları üretiyor.(3)
Yapay zeka projelerinin, harcanan kaynakların fazlalığına rağmen bu kadar düşük başarı oranına sahip olmasının en önemli nedenleri arasında, aşağıda da açıklanan, zaman içinde yaşanan çeşitli değişimler yer alıyor.
- Kavram Sapması (mevcut özniteliklerin tahminlenen değeri açıklama yeteneğinin azalması)
- Veri Sapması (mevcut özniteliklerin dağılımlarının değişmesi)
- Algoritma Sapması (kabullerin yetersiz kalması, iş ihtiyaçlarının değişmesi)
Kavram Sapması
Analitik modellerde tahmin edilmeye veya sınıflandırılmaya çalışılan hedef değişkenin eldeki öznitelikler ile açıklanabilirliğinin düşmesine kavram sapması denir.
Hedef değişkende anlamsal değişim veya birim değişikliği gibi birçok sebep kavram sapmasına yol açabilir. Bir şüpheli işlem algılama projesinde çalıştığımızı düşünelim. Modeli eğitirken şüpheli işlemi betimleyen hedef değişkenin 1 olarak girdi oluşturduğunu varsayalım. Model entegre edildikten sonra hedef değişkenin 1’e eşit olması şüpheli işlem olmadığı anlamına gelecek şekilde veri toplanmaya başlarsa modelin çıktısı bozulacaktır. Birim sapmasına örnek olarak da önceden kilogram cinsinden toplanılan ve modele entegre edilen hedef değişkenin gram olarak modele entegre edilmeye başlanması, bir anda modelin hedef değişkenini 1.000 katına çıkacaktır ve bu da model performansını ciddi anlamda etkileyecektir.
Bu sapmaları engellemek için modeli izlemek ve proaktif olmak çok kritiktir. Sapmaların farkına varmak ve bunları değerlendirmek için sorgulayıcı olmak gerekmektedir. Bu sapmaların tek seferlik mi yoksa sürekli mi olup olmadığı belirlenmelidir. Teşhis yapıldıktan sonra modeli yeniden eğitmek veya ilgili hedef değişkenlerde değişiklik yapıp tekrar modeli eğitmek gerekebilir.
Veri Sapması
Model performansının düşmesinin en önemli nedenlerinden biri veri sapmasıdır. Makine öğrenmesi modelleri tahmin yaparken veri setindeki öznitelikleri kullanır. Bu veri setinde yaşanan bir veri sapması model performansını önemli ölçüde etkileyebilir. Bu etki kümüle olacağı için sonrasında tüm model çıktılarında bozulmaya yol açacaktır. Bu nedenle, tıpkı kavram sapması gibi veri sapmasının da düzenli olarak izlenmesi ve gerektiği takdirde müdahale edilmesi, model performansının sürekliliğini ve sağlıklı sonuçlar vermesini sağlayacaktır.
- Potansiyel veri sapmasına örnek bazı durumlar şu şekildedir:
- Pandemi vb. gibi olağandışı koşulların ortaya çıkması
- Veriyi toplayan aracın (sensör vb.) bozulması
- Mevsimsel değişkenlikler
- Veri yapısı kurallarının değişmesi
Bu durumların dışında güncel koşullara göre farklı nedenlerden dolayı da veri sapması oluşabilir.
Algoritma Sapması
Yapay zeka modelleri geliştirildiği zamandaki iş ihtiyaçları ve kabulleri doğrultusunda tasarlanmaktadır. Bu nedenle zaman içerisinde oluşabilecek yeni ihtiyaçlara ya da değişen iş yapış şekillerine cevap verme konusunda yetersiz kalabilmektedir. Bu durumun önüne geçmek için, iş ihtiyaçları düzenli olarak analiz edilmeli ve modelin yetkinliği bu bağlamda test edilip, gerektiği takdirde algoritmada düzenlemeler yapılmalıdır.
Neden Continuous AI Bir Zorunluluk?
Yazının başlarında da belirttiğimiz gibi bir yapay zeka modelinin ya da analitik projenin geliştirme sürecinin tamamlanması, sağlanan faydanın sürekli olarak yüksek olacağını garanti etmemektedir. Harcanan bütçenin iş çıktılarına daha olumlu yansıması, geliştirilmiş olan modellerin daha verimli ve kullanışlı olması için ilgili modellerin uzman ekipler tarafından sürekli olarak izlenmesi ve analiz edilmesi gerekmektedir. Bu sayede geliştirme ihtiyaçları tespit edilerek modelden alınan fayda hep en üst seviyede tutulabilir.
Kaynaklar:
(1) https://www.forbes.com/sites/davidjeans/2020/10/20/bcg-mit-report-shows-companies-will-spend-50-billion-on-artificial-intelligence-with-few-results/
(2) https://venturebeat.com/2019/07/19/why-do-87-of-data-science-projects-never-make-it-into-production/
(3) https://blogs.gartner.com/andrew_white/2019/01/03/our-top-data-and-analytics-predicts-for-2019/