Günümüzde yapay zeka, şirketler için pazardaki rekabeti daha da artıran en önemli konulardan birisi haline geldi. Her yıl şirketler tarafından çok yüksek bütçeler yapay zeka ve analitik projelerine aktarılıyor ve bu bütçelerin gittikçe büyümesi bekleniyor(1) . Harcanan bütçelerin yüksekliğine rağmen VentureBeat tarafından yayınlanan rapora göre, veri bilimi projelerin %87'si canlı ortama dahi geçemiyor.(2) Gartner'a göre de analitik modellerin sadece %20'si iş çıktıları üretiyor.(3)

Yapay zeka projelerinin, harcanan kaynakların fazlalığına rağmen bu kadar düşük başarı oranına sahip olmasının en önemli nedenleri arasında, aşağıda da açıklanan, zaman içinde yaşanan çeşitli değişimler yer alıyor.

Kavram Sapması

Analitik modellerde tahmin edilmeye veya sınıflandırılmaya çalışılan hedef değişkenin eldeki öznitelikler ile açıklanabilirliğinin düşmesine kavram sapması denir.

Hedef değişkende anlamsal değişim veya birim değişikliği gibi birçok sebep kavram sapmasına yol açabilir. Bir şüpheli işlem algılama projesinde çalıştığımızı düşünelim. Modeli eğitirken şüpheli işlemi betimleyen hedef değişkenin 1 olarak girdi oluşturduğunu varsayalım. Model entegre edildikten sonra hedef değişkenin 1'e eşit olması şüpheli işlem olmadığı anlamına gelecek şekilde veri toplanmaya başlarsa modelin çıktısı bozulacaktır. Birim sapmasına örnek olarak da önceden kilogram cinsinden toplanılan ve modele entegre edilen hedef değişkenin gram olarak modele entegre edilmeye başlanması, bir anda modelin hedef değişkenini 1.000 katına çıkacaktır ve bu da model performansını ciddi anlamda etkileyecektir.

Bu sapmaları engellemek için modeli izlemek ve proaktif olmak çok kritiktir. Sapmaların farkına varmak ve bunları değerlendirmek için sorgulayıcı olmak gerekmektedir. Bu sapmaların tek seferlik mi yoksa sürekli mi olup olmadığı belirlenmelidir. Teşhis yapıldıktan sonra modeli yeniden eğitmek veya ilgili hedef değişkenlerde değişiklik yapıp tekrar modeli eğitmek gerekebilir.

Veri Sapması

Model performansının düşmesinin en önemli nedenlerinden biri veri sapmasıdır. Makine öğrenmesi modelleri tahmin yaparken veri setindeki öznitelikleri kullanır. Bu veri setinde yaşanan bir veri sapması model performansını önemli ölçüde etkileyebilir. Bu etki kümüle olacağı için sonrasında tüm model çıktılarında bozulmaya yol açacaktır. Bu nedenle, tıpkı kavram sapması gibi veri sapmasının da düzenli olarak izlenmesi ve gerektiği takdirde müdahale edilmesi, model performansının sürekliliğini ve sağlıklı sonuçlar vermesini sağlayacaktır.

Potansiyel veri sapmasına örnek bazı durumlar şu şekildedir:

Bu durumların dışında güncel koşullara göre farklı nedenlerden dolayı da veri sapması oluşabilir.

Algoritma Sapması

Yapay zeka modelleri geliştirildiği zamandaki iş ihtiyaçları ve kabulleri doğrultusunda tasarlanmaktadır. Bu nedenle zaman içerisinde oluşabilecek yeni ihtiyaçlara ya da değişen iş yapış şekillerine cevap verme konusunda yetersiz kalabilmektedir. Bu durumun önüne geçmek için, iş ihtiyaçları düzenli olarak analiz edilmeli ve modelin yetkinliği bu bağlamda test edilip, gerektiği takdirde algoritmada düzenlemeler yapılmalıdır.

Neden Continuous AI Bir Zorunluluk?

Yazının başlarında da belirttiğimiz gibi bir yapay zeka modelinin ya da analitik projenin geliştirme sürecinin tamamlanması, sağlanan faydanın sürekli olarak yüksek olacağını garanti etmemektedir. Harcanan bütçenin iş çıktılarına daha olumlu yansıması, geliştirilmiş olan modellerin daha verimli ve kullanışlı olması için ilgili modellerin uzman ekipler tarafından sürekli olarak izlenmesi ve analiz edilmesi gerekmektedir. Bu sayede geliştirme ihtiyaçları tespit edilerek modelden alınan fayda hep en üst seviyede tutulabilir.

Kaynaklar:

(1) <a href="https://www.forbes.com/sites/davidjeans/2020/10/20/bcg-mit-report-shows-companies-will-spend-50-billion-on-artificial-intelligence-with-few-results/" target="_blank" rel="noopener noreferrer" class="reference-link">https://www.forbes.com/sites/davidjeans/2020/10/20/bcg-mit-report-shows-companies-will-spend-50-billion-on-artificial-intelligence-with-few-results/</a>

(2) <a href="https://venturebeat.com/2019/07/19/why-do-87-of-data-science-projects-never-make-it-into-production/" target="_blank" rel="noopener noreferrer" class="reference-link">https://venturebeat.com/2019/07/19/why-do-87-of-data-science-projects-never-make-it-into-production/</a>

(3) <a href="https://blogs.gartner.com/andrew_white/2019/01/03/our-top-data-and-analytics-predicts-for-2019/" target="_blank" rel="noopener noreferrer" class="reference-link">https://blogs.gartner.com/andrew_white/2019/01/03/our-top-data-and-analytics-predicts-for-2019/</a>

Yapay Zeka Modellerinde Sapma Etkileri: Neden Continuous AI Bir Zorunluluk?

KoçDigital uzmanlarının, yapay zekanın üretim analitiği, önleyici bakım, görüntü işleme gibi konulara getirdiği çözümler ve son yapay zeka teknolojileri konularında kaleme aldıkları tüm yazıları KoçDigital Medium sayfasında!

KoçDigital Medium sayfasına ulaşmak için; https://lnkd.in/d38UUymx

KoçDigital Uzmanlarının Yapay Zekayı Her Yönüyle Kaleme Aldıkları Yazıları KoçDigital Medium Sayfasında!

Taşıt Araçları Tedarik Sanayicileri Derneği'nin (TAYSAD), sanayi ve üniversite iş birliği ile otomotiv sektörüne yetkin iş gücü kazandırmayı hedefleyen 20BİN Kariyer sosyal sorumluluk projesinde yer almanın mutluluğunu sizlerle paylaşıyoruz.

Geçtiğimiz yıl Kocaeli Üniversitesi Otomotiv Mühendisliği öğrencilerine verdiğimiz Temel SAP Basis eğitiminin ardından, bu yıl da Gebze Üniversitesi Mühendislik öğrencilerine Yapay Zeka ve Computer Vision eğitimi vererek projeye destek olduk.

Gerçekleştirdiğimiz online eğitimde emeği geçen tüm ekibimize teşekkür ederiz.

TAYSAD ile iş birliğimize devam ederek, sektöre yetkin insan kaynağı kazandırmaya devam edeceğiz.

Otomotiv Sektörüne Yetkin İş Gücü Kazandırmayı Hedefleyen 20Bin Kariyer Projesinde Biz de Varız!

Darwin'in Güney Amerika kıtasından kilometrelerce ötede Galapagos adalarına yaptığı seyahat, karşılaştığı farklı yetkinlikteki yaşam çeşitliliği, evrim teorisinin temellerini atmasına yardım etmişti. Darwin'den yıllar sonra 1972'de yeni fikirler peşinde koşan iki bilim adamı Stephen Jay Gould ve Niles Eldredge yeni bir teori ortaya attılar. İki bilim adamı; Darwin'in evrim teosinin canlıların yavaş ve zamanla değiştiğini söylediğini ama bulunan fosil kayıtlarında bu duruma rastlanmadığını belirtiyorlardı. Tam tersine onlara göre fosil örnekleri değişimin yavaş yavaş, azar azar değil birden ve yıkıcı bir şekilde olduğunu gösteriyordu. Örneğin 65 milyon yıl önce Dinazorlar dünyaya hükmederken birdenbire yok oldular ve yeni canlılar yerlerini aldılar. İki bilim adamı yeni teorilerine Punctuated Equilibrium - Noktalanmış, kesintili denge ismini verdiler.

Teoriye göre dünyada bir denge seviyesi devam ederken, çok büyük bir değişiklik, yok olma olayı gerçekleşiyor, eski denge bitiyor, yeni bir denge seviyesine geçiliyordu. Eski dengede yaşayan, hükmeden canlılar yeni denge seviyesine adapte olamadığından yok olurken, adapte olan yeni türler hayatta kalıyordu. Dünyada dinazorların yok olması dahil daha önce 5 büyük yok olma olayı ve evresi yaşanmıştı, 6. yok olma ve yeni denge seviyesi ile ne zaman karşılaşacaktık ?

Amerikalı milyarder yatırımcı, yazar, Siebel ve C3.ai şirketlerinin kurucusu Thomas Siebel yazdığı Digital Transformation - Survive and Thrive in an Era of Mass Extinction kitabında; içinde yaşadığımız büyük değişimi, yıkıcı digital dönüşümü Punctuated Equilibrium teorisiyle açıklıyordu. Thomas Siebel'e göre çevresindeki büyük değişimi ve olayları dikkate almayan, hazırlık yapmayan şirketler bir süre sonra yok olma tehlikesiyle karşılaşıyorlardı. Örnek olarak 2007'de dünyada satılan her iki telefondan birisi olan Nokia, akıllı telefon dönüşümünü geç gördüğünden sadece birkaç yıl içinde mobil telefon pazarının tamamını kaybetti ve yok olmayla karşı karşıya kaldı. Söz telefondan açılmışken Nokia ve cep telefonları benzer bir yok edici etkiyi sabit hat sektöründeki oyunculara yapmıştı, ilk telefonlar da telgraf sektörüne.

Bütün bu yaşananlar iletişim sektöründeki büyük değişimleri, yok olan ve onların yerini alan yeni oyuncuları anlatıyor, yani canlıların Punctuated Equilibrium teorisi Siebel'e göre ekonomi alanında yıkıcı ve aynı şekilde devam ediyordu. 2000 yılından bugüne Fortune 500 firmalarının yarısından çoğu listeden çıkarken, bugünden 10 yıl sonraya gittiğimizde şu anki listenin %40'ının da yok olacağı öngörülüyor.

Günümüzde yaşanan büyük digital dönüşüm, Covid-19, tedarik zinciri problemleri, yeni çalışma şekilleri, iklim değişimleri, enerji sürekliliği büyük bir değişim döneminden geçtiğimizi gösteriyor.

Bu yeni dünyada hayatta kalmanın yolu bu değişimi verilerle anlamak ve geleceği daha iyi öngörmek, yeni iş modelleri geliştirmekten geçiyor.

Inovasyon, yeni iş yapış şekilleri keşfetmek ve geliştirmek artık lüks olmaktan çıktı, hayatta kalmanın kuralı haline geldi. Şirketler veri ve analitiğin gücüyle artık bir teknoloji, bir AI şirketine dönüşmek zorunda.

Dünyada yaşanan büyük değişimin dalgaları her şirketin her sektörün kıyılarına kadar ulaşmış durumda.

Bana bir şey olmaz değil ben bu değişimi nasıl yönetebilirim, yeni denge seviyesine geçildiğinde hayatta kalanlar arasında nasıl olabilirim deme zamanı.

Her fonksiyonu AI ile nefes alan bir organizasyona dönüşme yolculuğuna çıkmak için gerekli tek şey, bu değişimi istemek, bugünden ilk adımları atmaya başlamak.

Churchill'in bir sözüyle tamamlayalım; Gelişmek, değişmektir, bu nedenle mükemmel olmak için sürekli değişimi isteyin.

Hayatta Kalanlar, Punctuated Equilibrium - Kesintili, Sıçramalı Denge

Dijital Dönüşüm, artık günlük yaşantımızın her alanına etki etmiş durumda. 6–7 sene kadar önce yaklaşıyor, geliyor, hiç bir şey eskisi gibi olmayacak vb. söylemler artık gerçek oldu ve dijital dönüşümün olmadığı bir alan neredeyse artık yok gibi. Artık dijital dönüşüm sadece bir moda söz (buzzword) değil, bir iş yapış şekli ve düşünce yapısı.

Dijital dönüşüm dediğimizde aslında tek bir çözüm, ürün vb. bir şeyden bahsetmiyoruz elbette. İş yapış şekillerinin değişmesi, müşteriyi daima merkeze alan bir yaklaşım benimseme ve bunları da gerçekleştirirken teknolojinin bize sağladığı imkanlardan sonuna kadar yararlanma olarak ele alabiliriz. Eskiden yeni bir iş fikrini destekleyecek teknolojinin varlığı zorlayıcı bir unsur olabiliyorken, artık teknolojinin sağladığı imkanlar iş fikirleri üzerinde bir kaldıraç rolü üstlenmiş durumda. Üretimden finansa, telekomdan sağlığa kadar her alanda artık yenilikçi ve müşteriye fayda sağlayan çözümlerle karşılaşabiliyoruz.

Dijital dönüşümün en önemli bileşenlerinden biri de analitik dönüşüm. Analitik konusundaki farkındalığın artması bu alanda çalışan kaynakların da aynı oranda artmasına olumlu yönde etki etti. Yeni iş fikirleri analitik çözümlerle, makine öğrenmesi ve yapay zeka algoritmalarıyla desteklenince ortaya da pozitif yönde iş sonuçları çıkardı ve her alanda faydalı oldu, olmaya da devam edecek.

Peki diyelim ki çok güzel bir iş fikriniz var, bu fikri hayata geçirdiğiniz zaman kurumunuzun cirosunda kritik bir artış sağlanacağını veya maliyetlerde bir optimizasyon sağlayarak karlılığa katkıda bulunacağınızı düşünüyorsunuz. Bu fikri de analitik çözümlerle geliştirmek mümkün. Çalıştığınız kurumda bu konuda yetkin veri bilimcileri de var. Bu fikriniz için de üst yönetim desteği ve öncelik de aldınız, ufak da bir proje ekibi oluşturuldu. Her şey gayet güzel görünüyor, çalışmaya başlamak için de bir engel bulunmuyor. Projeniz başladı, ekipler ortaya koyduğunuz iş fikrini doğru anladı ve artık kurumunuzdaki veriler üzerinde analitik kurguları işletmeye geçmek istiyorlar. İlk sorular hemen gelecektir;

Hangi veri seti ile çalışabilirim?, Verilere nasıl erişeceğim?, Veri ambarında bir satış tablosu buldum, içindeki bilgilerin ne anlama geldiğini bana kim anlatabilir?

Bu soruların yanıtlarını hızlı ve sistematik bir şekilde veremiyorsanız projede bir şeyler ters gitmeye başlamış demektir ve proje bir süre sonra ister istemez zorlu bir sürece girecektir. Yine de projeniz tamamlanabilir ama hem süresi uzayacaktır, hem de analitik model üzerinde çalışan veri bilimcileri bir de veri hazırlığı süreciyle boğuşacakları için gerek verimsizlik ve gerekse çalışan memnuniyetsizliği oluşacaktır. Belki de en kötü senaryo; bu eksikliklerden dolayı proje rafa kaldırılacaktır.

Bu noktada hayatımıza veri yönetişimi kavramı giriyor. Bazı durumlarda veri yönetimi ile de karışabiliyor. Ancak görece geri planda kalan bir disiplin gibi gözükse de ne kadar gerekli olduğu üstteki senaryoya benzer projelerde karşımıza çıkıyor. Peki nedir bu veri yönetişimi?

Ansiklopediyi (!) açıp baktığımızda şöyle diyor veri yönetişimi için; Veri yönetişimi, veriyi kurum içinde uçtan uca yönetmeyi sağlayan yöntemler bütünüdür. Süreçleri, politikaları & standartları, teknolojileri ve kişileri dahil ederek doğru, tutarlı ve zamanında; en doğru kararların, en uygun şekilde verilmesini hedefler.

Gerçekten de örneğimizdekine benzer yaşanan sıkıntıların çözümü burada gibi gözüküyor. Verilerimizin kurumumuz içindeki yolculuğu esnasında ne gibi aşamalardan geçeceğini, bu sürece kimin sahiplik ederek karar vereceğini, tutarlılığın ve kalitenin sağlanması için kuralların neler olacağını yönettiğimiz disiplin aslında veri yönetişimi dediğimiz.

Her şeyden önce veri yönetişiminin, bir BT inisiyatifi olmaktan çıkarılması ve tüm organizasyon tarafından -üst yönetim desteği ile- sahiplenilmesi lazım. Bu aynı zamanda bir kültür dönüşümünü de beraberinde getiren bir yaklaşım. Bu yaklaşımın da en büyük destekçisi yönetimce onaylanmış bir veri yönetişim politikasıdır. Politika ve süreçleri oluşturan prosedürler ve bu prosedürlerin çerçevesini oluşturan standartlar ise sürecin nasıl işletileceğini tariflemekte. Temelde baktığımızda ise veri yönetişiminin uygulanabilmesi için aşağıdaki 3 bileşenin belli bir sistematik çerçevesinde gerçekleştirilmesi önemli;

Toparlamak gerekirse, veri yönetişimi elbette bu yazıdaki kadar kolay anlatılabilecek bir konu değil. Çok daha detaylı değerlendirilmesi gereken alt bileşenleri var. Bir sonraki yazımda bu alt bileşenleri biraz daha detaylandırmaya çalışacağım.

Elimizde Hangi Veriler Var ve Nasıl Erişeceğiz?

Veri odaklı yöntemlerin üretim alanındaki kullanımı oldukça eskilere dayanıyor. Günümüzde başlangıç seviyesinde her istatistik dersinde öğretilen t-testi 1900'lü yılların başlarında ünlü bira üreticisi Guinness için kalite standartlarına uygunluk çalışmaları sırasında ortaya çıkmış bir yöntem örneğin. İlerleyen yıllarda üretim alanında kullanılan veri odaklı yöntemler çeşitlendi ve gelişti, bunların en yaygını istatistiksel süreç kontrolü (statistical process control) halen üretimdeki en temel araçlardan birisi olarak görülmekte. Öte yandan 2000'lerin başından bu yana hayatımıza giren ileri analitik teknikler üretim alanında yaygınlaşmış değil. Bu yazıda modern ileri analitik teknikleri yapay zeka başlığı altında toplayarak, üretim analitiğinde yapay zeka kullanımının zorluklarından bahsedeceğiz.

Veri İçeriği

Analitik uygulamalar için veriye ihtiyaç olduğunu biliyoruz, ama hangi veri, ne çözünürlükte, ne hassaslıkta? Bu soruların genel geçer bir cevabı yok, çözmek istediğiniz probleme ve üretim sürecinin özelliklerine bağlı olarak cevaplar değişiyor ama ileri analitik uygulamalara katkısı en az olan veri çeşidinin ikili (binary) veriler olduğunu söyleyebiliriz. Klasik analitik yöntemlerde faydalı olabilen ikili veriler -örneğin bir üretim parametresinin belirlenen aralıkların içinde olup olmadığı- modern yapay zeka tekniklerinin etkin sonuçlar vermesi için yeterli değil. Sorulardan ve alan bilgisinden faydalanmadan oluşturulan veri toplama biçimleri yapay zeka projelerinin başarısını düşürüyor, bazen imkansız hale getiriyor. Dakikada 1 toplanan, +/- 1 derece hassaslıktaki sıcaklık verisi bazı üretim hatlarında, bazı projelerde faydalı olabilir ama bu verinin soracağımız her soruya yanıt vermesini bekleyemeyiz.

Veri Altyapısı

Üretim alanında uygulanacak analitik çözümler, üst seviyeden baktığımızda, aşağıda gördüğünüz 3 katmanlı yapı üzerinde çalışırlar.

Fiziksel veri katmanında sahada veriler üretilir, buradan çeşitli büyük veri altyapılarının ya da bulut hizmetlerin kullanıldığı dijital veri katmanına iletilir, daha sonra YZ algoritmaları bu veriyi kullanarak sonuçları üretir tabii bu sonuçlar çeşitli raporlama ve görselleştirme uygulamalarına aktarılır. Bu mimaride detaya inildiğinde her bir proje için, çözülmek istenen sorunun içeriğine ve sahada nasıl kullanılacağına göre uygun bileşenler seçilmelidir. Her bir bileşen veri akışında güvenlik, güvenilirlik ve zamanındalık kriterlerinde bozulma yaratmadan çalışmalıdır. Üretim sahalarının çoğunlukla kesintisiz çalıştığı düşünüldüğünde, analitik çözümlerin sürdürülebilirliği için bu karmaşık mimari yapının hem her bir bileşeni hem de bütünü izlenebilir ve kesintisiz çalışabilir olmalıdır. Son yıllarda çok hızlı sonuç gerektiren süreçlerde ise kıyı analitik (edge analytics) çözüm mimarileri kullanılmaya başlandı. Bu mimaride, veri üretildiği noktada işlenerek yapay zeka çözümleri kullanıcılara ulaştırılıyor.

Analitik Yöntemler

Çözülmeye çalışılan problemle ilgili doğru veri içeriği ve güvenilir veri akışını sağlanmış olsa bile nihayetinde çıktıları üreten analitik araçların da başarılı sonuçlar vermesi gerekir. Analitik modeller kurulurken öncelikle dikkat edilmesi gereken konu, sıklıkla üretim verilerinin zaman serisi yapısında olduğudur. Bu tip verilerde ardışık gözlemler birbirinden bağımsız olmadığı için pek çok klasik yaklaşım yetersiz kalır. Bunu gözardı eden modellerin yüksek başarılı sonuçlar vermesini bekleyemeyiz. Sıklıkla karşılaşılan bir diğer sorun dengesiz veri setleridir. Örneğin çoğu üretim hattında çok az arıza meydana geldiği için denetimli öğrenme teknikleri iyi sonuçlar vermez. Bu durumda veri zenginleştirme teknikleri kullanılabileceği gibi anomali tespiti gibi denetimsiz öğrenme yöntemleri de kullanılabilir.

Sürdürülebilirlik

Üretimde kullanılan yapay zeka çözümlerinin üretim sürecinin tamamında çalışır durumda olması ve güvenilir sonuçlar üretmesi gerekir. Bunun için kurulan veri altyapısının doğru çalıştığını takip edebilmek için gerekli mekanizmalar kurulmalı, sorun yaşanan durumlar için bakım planları tanımlı olmalıdır. Ayrıca, üretim süreçleri hem kendi doğal akışında hem de analitik projelerin çıktılarına bağlı olarak sürekli değişir. Bu yüzden analitik modellerin çıktıları zaman içerisinde kullanılamaz hale gelebilir. Model sonuçlarının ve iş çıktılarının düzenli olarak takip edilmesi sürdürülebilirlik için kritiktir.

Üretim Analitiğinde Yapay Zeka

KoçDigital’in alanında uzman ekibi tarafından hazırlanan, Nesnelerin İnterneti ve İleri Analitik kapsamındaki, güncel trendleri yakından inceledikleri blog yazıları sizlerle!

Blog ve Haberler