Python | API Coding | Web Scraping \ Python

Herkese Merhabalar.

Bu konuda sizlere şu başlıklardan bahsedeceğim.

(*)API Nedir ?
(*)Web Scraping Nedir ?
(*)API Yazılırken Nelere Dikkat Edilmeli ?
(*)Sıfırdan API Nasıl Yazılır ?

API Nedir ?
API(Application Programming Interface) yani Programlama arayüzü olarak adlandırılmaktadır.
Genel olarak bahsedersek bir yazılım üzerinde başka bir yazılımın özelliklerinin kullanılabilmesini sağlayan arayüz olarak bahsedebiliriz. Birçok programda API desteği kullanılmaktadır.

Web Scraping Nedir ?
Web kazıma olarakta geçmektedir. Web sitelerinden bilgi alabilmemizi sağlayan bir tekniktir.
Birçok alanda bu teknikten yararlanılmaktadır. Örnek vermek gerekirse; hava durumu verileri, fiyat karşılaştırma ve birçok örnek…

API Yazılırken Nelere Dikkat Edilmeli ?
Eğer bir API yazacaksak API yazacağımız uygulamanın bütün özelliklerine yazdığımız API sayesinde erişebilmeliyiz. API yazacağımız uygulamanın ne üstüne olduğuda önem taşımaktadır.
Örneğin bir web sitesinin özelliklerinin kullanılacağı API yazacaksak bu web sitesinin trafiğini dinlemeye almalıyız. Eğer trafikte istediğimiz bütün POST-GET paketlerine ulaşabiliyorsak API tabanını bunun üzerine kurabiliriz. Erişemiyorsak WEB-SCRAPING teknolojisini kullanabiliriz.
Ben konu içerisinde WEB-SCRAPING ile nasıl API yazılacağını göstereceğim. Aynı şekilde trafiği dinleyerekte bunu sağlayabiliriz.

Sıfırdan API Nasıl Yazılır ?
Bilgisayar Teknolojileri bildiğiniz gibi oldukça İngilizce gerektiren bir meslek. Bundan ötürü İngilizce ile çok iç içe olmalıyız. Doküman okurken bilmediğimiz İngilizce kelimeler çıkabiliyor imdadına yetişen bir site “https://tureng.com/tr/turkce-ingilizce” herkesin bildiğini düşünüyorum. Eğer programımızda İngilizce çeviri ile uğraşacaksak Python’un bize sağlamış olduğu tek API Google-Translate. Bildiğiniz gibi Google-Translate kelimenin bütün anlamlarını vermiyor. Bir kelimenin bazen 50 anlamı dahi
olabiliyor. Bende konsol ekranı üzerinden TURENG sitesinin yararını nasıl kullanabiliriz diye düşündükten sonra bu projeyi çıkarma kararı aldım. TURENG sitesinin özelliklerini kullanabileceğimiz bir API. Temel mantık site üzerinden verileri çekmek. Peki verileri nasıl çekeceğiz ?
Bunun için TURENG sitesine gidip istediğimiz veriler nerede saklı ona bakmalıyız.

Burada görüldüğü gibi çevirme işlemini kullanabilmek için her biri ayrı kategori haline getirilmiş."turke-ingilizce" siteden content çekerken istek yollayacağımız url üzerine bu kategorileri tek tek belirtmeliyiz. Kodu bir inceleyelim.

İstek yollayacağımız url içerisinde ihtiyacımız olacağı için görüldüğü gibi bir dict içerisine değerleri belirtmiş bulunduk.

Nesne içerisine language_ değeri verildiği zaman gidip self.__language sözlüğü içerisinden veriyi alıp url’yi o şekilde ayarladığına dikkat etmeliyiz. Aksi taktirde istediğimiz contenti çekemezdik.

Burada istenilen kelimenin aratma işlemini yaptıktan sonra "Ayırtmak" kelimesine sağ tık yapıp ,
"Öğeyi Denetle" diyoruz.

Burada görüldüğü gibi istediğimiz elemanlar “Table id = englishResultsTable”altında td class = “tr ts”
Altında tutuluyor. Yani programımızda sitenin content bölümünü çektiğimizde buraları özel olarak parse ederek istediğimiz verileri alabiliriz. O zaman kodu bir inceleyelim.

Görüldüğü gibi yukarıdaki fonksiyonlar aracılığıyla web site contentini çektikten sonra "find_all()" fonksiyonu yardımı ile Tableetiketine sahip ve id değeri = englishResultsTable olan içeriği bul diyoruz. Daha sonra gelen veriden tekrar 'td' etiketine sahipclass = “tr ts” olan içeriği bul diyoruz. Bunu da bulduktan sonra son olarak bunun altındaki tüm "td" etiketini çektiriyoruz. Bu sayede istediğimiz verilere ulaşmış olduk. Daha sonra "self.__setdict()" yapısı çağırılıyor. Çağırılan fonksiyonun amacı ise dönen verileri güzel bir çıktı haline getirebilmesi.

Görüldüğü gibi dönen verileri bir "DİCT" içerisine atıyor.

Burada görmüş olduğunuz diğer fonkisyonlar ise siteye istek atmak için, hangi dil desteğini sağladığını göstermek için, oluşturulan sözlüğü döndürmek için, hangi kelimenin çevirileceğini göstermek için oluşturulmuş fonksiyonlardır. Şimdi birkaç deneme yapalım.

Görüldüğü gibi “from Tureng_API import *” şeklinde modülümüzü programımızın içine dahil ettik.
(Bunun bir modül olduğunu unutmamalıyız.)

Daha sonra “Tureng_Translate” nesnesini tanımlayıp gerekli bütün parametreleri programa verdik.
(0 değeri nesnenin daha websitesine gidip verileri çekmesine gerek olmadığını belirtiyor.)

Nesnemizin özelliklerini kullanarak gerekli bilgileri istedik. Çıktıya bakalım.

Görüldüğü gibi tam olarak bizim istediğimiz gibi. Daha sonrasında programı çalıştırıp gerekli bilgileri bizim için çekmiş mi ? Kontrol edelim.

Gördüğünüz gibi bütün kelimenin anlamlarını sözlüğün içerisinde bize döndürdü. Program sadece İngilizce-Türkçe , Türkçe-İngilizce desteği vermiyor.
Tureng’in bize sağlamış olduğu bütün dil desteklerini sağlıyor.
Fakat yukarıda gösterdiğim tablo işlemlerinde diğer diller için gereken table değerleri farklı onlar için ayrı bir fonksiyon daha oluşturduk o fonksiyonda burada;

Yaptğımız işlem aynı sadece "tr ts" yerine "en tm" etiketlerini çekiyoruz. Son olarak "Almanca-İngilizce" deneyeceğim.

Görüldüğü gibi parametreleri değiştirdiğimize dikkat edin. "Buch" ve "DE-EN" şimdi çıktımızı inceleyelim.

Sözlüğümüz başarılı bir şekilde çalıştı. Birde sitedeki değerlerle eşit mi ? Bir bakalım.

Ve tamamen doğru 😊.

Programın çalışma mantığını ve nasıl yazıldığını açıklamaya çalıştım. Bu bir modül bir tool değil. Bunu işlevsel hale getirmek size kalmış. Eğer aklınızda İngilizce çeviri ile alakalı bir program varsa bunu kullanabilirsiniz. Google-Translate dediğim gibi ayrıntılı bir bilgi çıkarmayacaktır. Bundan dolayı böyle bir API yazmak istedim.

Kodlara ulaşmak için: TIKLA

Eğer kodlarda anlamadığınız bir nokta olursa sorularınızı bekliyorum…