Veri Toplama ve Temizleme

Bir cümlelik özet

Veri toplamak, dünyadan düzenli bilgi kaydetmektir; veri temizlemek ise bu kayıttaki eksik, yanlış veya tekrar eden parçaları bulup düzeltmektir.

Neden önemli?

Bir önceki derste verinin ne olduğunu öğrendik. Ama bir bilgisayarın veya yapay zekânın işe yarar sonuçlar üretmesi için önce iyi veriye ihtiyaç vardır. Kötü veriyle çalışan bir sistem, kötü sonuç verir. Buna kısaca şöyle deriz: çöp girerse çöp çıkar.

Örneğin sınıfının en sevdiği meyveyi bulmak istiyorsun. Bazı arkadaşların formu iki kez doldurmuş, biri boyunu meyve yerine yazmış, biri de hiç cevap vermemiş. Bu haliyle sayım yaparsan yanlış bir sonuca ulaşırsın. Veriyi önce toplamayı, sonra temizlemeyi öğrenmek, bütün veri ve yapay zekâ çalışmalarının ilk ve en önemli adımıdır.

Unutma: yapay zekâ sihir değildir. Verideki desenleri bulan bir araçtır. Verin bozuksa bulduğu desen de bozuk olur.

Veriyi nasıl toplarız?

Veri toplamanın birçok yolu vardır. Üç yaygın yöntemi tanıyalım.

1. Ölçüm

Bir cetvel, terazi ya da termometre ile bir şeyi ölçüp yazarız. Örneğin bir hafta boyunca her sabah oda sıcaklığını ölçüp bir tabloya kaydedebilirsin. Burada dikkat edilecek şey her ölçümü aynı yöntemle yapmaktır: aynı saat, aynı yer, aynı birim.

2. Form ve anket

İnsanlara soru sorup cevaplarını kaydederiz. Sınıfın en sevdiği meyve anketi buna örnektir. Formda seçenekleri net vermek önemlidir; “meyve yaz” demek yerine bir liste sunmak, sonradan temizlik işini azaltır.

3. Sensör

Robotik modülünde sensör kullandık. Mesafe sensörü, ışık sensörü ya da sıcaklık sensörü kendi başına veri toplar. Sensörler hızlıdır ama arıza yaptığında ya da yanlış yere bakıldığında saçma değerler de üretebilir.

Günlük hayattan örnek: Su içme takibi

Bir hafta boyunca her gün kaç bardak su içtiğini bir listeye yazarsan bu bir veri toplama çalışmasıdır:

Pazartesi: 6
Salı: 7
Çarşamba: 5
Perşembe: 8
Cuma: 6

Her gün aynı ölçüyü (bardak) kullandığın için bu veri düzenlidir ve sonradan karşılaştırılabilir.

Veride hangi sorunlar olur?

Topladığımız veri hiçbir zaman baştan kusursuz olmaz. En sık karşılaşılan üç sorunu tanıyalım.

1. Eksik veri

Bir hücre boş kalmıştır. Belki biri ankete cevap vermemiş, belki sensör o an ölçüm yapamamıştır. Eksik veriyi görmezden gelemeyiz; ya işaretleriz ya da o satırı ayrı tutarız.

2. Yanlış veri

Değer mantıksızdır. Bir insanın boyu 3 metre yazılmışsa ya da bir günde 200 bardak su içildiği kaydedilmişse bu bir hatadır. Buna genelde aykırı değer deriz.

3. Tekrar eden veri

Aynı kayıt iki kez girilmiştir. Bir arkadaşın formu iki kez doldurduysa oyu iki kez sayılır ve sonucu bozar.

Günlük hayattan örnek: Boy listesi

Bir sınıfın boy ölçümleri santimetre olarak toplanmış olsun:

[142, 150, 3, 148, 150, -5, 145]

Burada 3 çok küçük (yanlış girilmiş olabilir), -5 ise imkânsız (negatif boy olmaz). İkinci 150 gerçek bir tekrar mı yoksa iki farklı öğrenci mi? Bunu ancak veriyi kim topladıysa bilir. İşte temizlik burada başlar.

Veriyi nasıl temizleriz?

Temizleme, veriyi silmek değil; ona güvenilir hale getirmektir. Üç temel iş yaparız:

• Düzeltmek: Yanlış girilmiş bir değeri, doğrusunu biliyorsak düzeltiriz.
• İşaretlemek: Eksik veya şüpheli değeri silmek yerine belli ederiz (örneğin None yazarız), çünkü kaç tane eksik olduğunu bilmek de bir bilgidir.
• Ayıklamak: Açıkça imkânsız olan değerleri (negatif boy gibi) çıkarırız.

Önemli kural: bir değeri “sevmediğimiz için” silmeyiz. Sadece açıkça hatalı olanı ayıklarız. Gerçek ama şaşırtıcı bir değeri atarsak veriyi çarpıtmış oluruz.

Basit Python: hatalı boyları ayıklama

Aşağıdaki program bir boy listesindeki makul değerleri tutar, imkânsız olanları ayrı bir listeye koyar. Sadece standart Python kullanıyoruz.

# Santimetre cinsinden boy ölçümleri
boylar = [142, 150, 3, 148, 150, -5, 145]

temiz = []
hatali = []

for boy in boylar:
    # Makul bir insan boyu aralığı seçiyoruz
    if 100 <= boy <= 210:
        temiz.append(boy)
    else:
        hatali.append(boy)

print("Temiz veri:", temiz)
print("Ayıklanan hatalı değerler:", hatali)

ortalama = sum(temiz) / len(temiz)
print("Temiz verinin ortalaması:", round(ortalama, 1))

Bu program bir yapay zekâ değildir. Sadece bizim koyduğumuz bir kurala (100 ile 210 arası makul) göre karar verir. Kuralı biz seçtiğimiz için sorumluluk da bizdedir. Aralığı yanlış seçersek doğru veriyi yanlışlıkla atabiliriz; bu yüzden kuralı dikkatle belirleriz.

Mini uygulama

Aşağıdaki anket verisi bir sınıfın en sevdiği rengi gösteriyor. Ama içinde sorunlar var:

["mavi", "kırmızı", "MAVİ", "", "yeşil", "kırmızı", "mavı"]

Görevin:

1. Boş cevabı ("") eksik veri olarak işaretle.
2. Büyük/küçük harf farkını düzelt (MAVİ ile mavi aynı renktir).
3. Yazım hatasını düzelt (mavı aslında mavi).
4. Temizledikten sonra her rengin kaç oy aldığını say.

İpucu: Python’da metin.lower() bir kelimeyi küçük harfe çevirir. Sayım için bir sözlük (dict) kullanabilirsin. Elde etmen gereken sonuç: mavi 3, kırmızı 2, yeşil 1, eksik 1.

Uygulama laboratuvarı: Veri Toplama ve Temizleme

Veri Toplama ve Temizleme konusunu kalıcı hâle getirmenin en iyi yolu, kavramı küçük ve ölçülebilir bir göreve dönüştürmektir. Bu çalışmada Veriyi nasıl toplarız? ile 2. Form ve anket arasındaki ilişkiyi kullanarak temizlenmiş küçük veri tablosu, açık sınıflandırma kuralı ve hata değerlendirmesi hazırlayacaksın. Amaç yalnız sonucun çalışması değil; hangi kararı neden verdiğini, neyi test ettiğini ve hangi durumda tasarımı değiştireceğini açıklayabilmektir.

Görev senaryosu

Şu senaryoyu ele al: sensör ölçümlerindeki eksik ve sıra dışı değerleri ayıklama. Dersin ana hedefi “Veriyi nasıl toplayacağını ve eksik, yanlış veya tekrar eden verileri temizlemeyi öğren” olduğuna göre önce problemi tek cümleyle tanımla. Ardından sistemin alacağı girdiyi, uygulayacağı işlemi ve üreteceği çıktıyı ayrı ayrı yaz. Bilmediğin bir ayrıntı varsa onu varsayım olarak işaretle; varsayımı gerçek bilgi gibi kullanma.

1. Planla: Başlangıç durumunu, beklenen sonucu ve kullanacağın kavramları yaz.
2. En küçük sürümü kur: Yalnız temel davranışı çalıştır; süsleme ve ek özellikleri sonraya bırak.
3. Üç test hazırla: Normal bir durum, sınırda bir durum ve hatalı ya da beklenmeyen bir durum seç.
4. Sonucu kaydet: Beklenen ile gerçekleşeni yan yana yaz; fark varsa olası nedeni belirt.
5. Tek değişiklik yap: Aynı anda birçok şeyi değiştirmek yerine bir kararı düzeltip testi yeniden çalıştır.

Başarı ölçütleri

• Verinin kaynağı ve amacı açık mı?
• Eksik, tekrar eden ve sıra dışı değerler işaretlendi mi?
• Kişisel bilgi kullanılmadan örnek kurulabiliyor mu?
• Eğitim ve test verisi birbirinden ayrıldı mı?
• Yanlış tahminler saklanıp nedenleri incelendi mi?

“Veri Toplama ve Temizleme” çalışmasını bitirdiğinde ürünü bir arkadaşına yalnız bölüm başlıklarıyla anlat. Arkadaşın sensör ölçümlerindeki eksik ve sıra dışı değerleri ayıklama senaryosundaki adımları ve karar nedenlerini takip edebiliyorsa anlatım yeterince açıktır. Anlaşılmayan noktayı daha fazla terim ekleyerek değil, Veriyi nasıl toplarız? ve 2. Form ve anket ilişkisini daha küçük adımlara bölerek düzelt.

Sık yapılan hatalar

Temizlemeden hesaplamak

Veriyi temizlemeden ortalama veya sayım yapmak, en sık hatadır. Önce temizle, sonra hesapla.

Şaşırtıcı ama gerçek veriyi atmak

Beklemediğin bir değeri hemen “hata” sanma. Belki gerçekten öyle olmuştur. Sadece imkânsız olanı ayıkla, sıra dışı olanı araştır.

Eksik veriyi sessizce silmek

Boş hücreyi silip yok saymak, kaç kişinin cevap vermediğini gizler. Onu işaretlemek daha dürüsttür.

Aynı şeyi farklı yazmak

mavi, MAVİ ve Mavi bilgisayara göre üç farklı şeydir. Toplarken tek bir biçim seçmek işini kolaylaştırır.

Güvenlik notu

Veri toplarken en önemli kural kişisel veriyi korumaktır.

• Arkadaşlarının adı, telefonu, adresi, okul numarası gibi kişisel bilgileri bir çalışmaya koyma. Anketlerde isim yerine “Öğrenci 1, Öğrenci 2” gibi takma etiketler kullan.
• Topladığın veriyi internetteki yapay zekâ araçlarına ya da açık sitelere yükleme. Bu araçlar veriyi saklayabilir ve başkaları görebilir.
• Başkasının verisini toplarken izin al ve ne için topladığını açıkça söyle.
• Bu tür araçları bir yetişkin eşliğinde ve platformların yaş kurallarına uyarak kullan.

Unutma: veri, gerçek insanlar hakkında bilgidir. Ona dikkatli davranmak senin sorumluluğundur.

Ders özeti

• Veri; ölçüm, form/anket ve sensör gibi yollarla düzenli biçimde toplanır.
• Toplanan veride sık sık eksik, yanlış ve tekrar eden değerler bulunur.
• Temizleme; düzeltmek, işaretlemek ve imkânsız değerleri ayıklamaktan oluşur.
• Basit bir kural (örneğin makul bir aralık) ile hatalı değerler ayıklanabilir, ama kuralı seçen ve sonuçtan sorumlu olan insandır.
• Kişisel veriyi asla açık araçlara koymamak ve verilere saygılı davranmak temel güvenlik kuralıdır.

Kontrol soruları

1. Veri toplamanın bu derste geçen üç yolu nedir?
2. “Çöp girerse çöp çıkar” ne anlama gelir?
3. Bir boy listesinde -5 değeri hangi veri sorununa örnektir?
4. Eksik bir veriyi silmek yerine neden işaretlemeyi tercih ederiz?
5. Bir anket verisini internetteki bir yapay zekâ aracına yüklemeden önce hangi güvenlik kuralını düşünmelisin?

Cevaplar

1. Ölçüm (cetvel, terazi gibi araçlarla), form/anket (insanlara soru sorarak) ve sensör (mesafe, ışık, sıcaklık sensörü gibi).
2. Veri bozuk veya hatalıysa, o veriyle yapılan hesap ve yapay zekâ sonucu da bozuk çıkar; iyi sonuç için önce iyi veri gerekir.
3. Yanlış (mantıksız / imkânsız) veri sorununa; boy negatif olamaz, yani bu bir aykırı değerdir.
4. Çünkü kaç tane cevabın eksik olduğu da bir bilgidir; silmek bu bilgiyi gizler ve sonucu yanlış gösterebilir.
5. Kişisel veriyi koruma kuralı: veride isim, adres gibi kişisel bilgi olmamalı ve bu tür veri açık araçlara yüklenmemeli; ayrıca bir yetişkine danışılmalıdır.

Kaynak ve doğrulama notu

“Veri Toplama ve Temizleme” dersi için doğrulama odağı Veriyi nasıl toplarız? ile 2. Form ve anket arasındaki ilişkinin örnekler üzerinde tutarlı çalışmasıdır. Bu modüldeki veri kümeleri eğitim amaçlı ve küçüktür; gerçek kişisel veri kullanılmamalıdır. Bir yapay zekâ sonucunun doğruluğu kadar, verinin dengesi, hataların dağılımı ve açıklanabilirliği de değerlendirilmelidir.

Sonraki ders

Tablo ve Grafik Okuma: Temizlediğimiz veriyi bir tabloya ve grafiğe dönüştürüp anlamını okumayı öğreneceğiz.