Python Selenium ve BeautifulSoup paketlerini kullanarak internetten otomatik veri çekme uygulaması

Python ile Selenium ve BeautifulSoup paketlerini kullanarak internet sitelerinden otomatik veri çekme (web tarayıcı: Chrome ve Pycharm ile) gerekli kütüphaneler: selenium, bs4, pandas, openpyxl Python kodu için link: https://github.com/bulentsezen/intern... Yapacağımız Örnek uygulama web sayfası: https://www.science.org/journal/sciro... Referans alınan youtube videoları:    • Python BeautifulSoup Dersleri - 2 ( Twitter )      • Python ile Websitesinden Veri Çekmek - Bea...   Adımlar: 1- Selenium ve Beautiful Soup kütüphanelerinin Pycharm da kurulması ve kullanılan versiyonlar (ayrıca pandas ve openpyxl kütüphaneleri de gerekecek) 2- Selenium test aracı için kullanılan web tarayıcıya (Chrome) uygun “chromedriver.exe” dosyasının indirilmesi ve kullanılması 3- Selenium ile Python kodu çalıştırılarak web sayfasının otomatik açılması 4- Sonra açılan sayfada Beautifulsoup kullanılarak makale başlıklarının otomatik olarak çekilmesi ve konsolda yazdırılması 5- Pandas ve openpyxl kütüphanelerini kullanarak makale başlıklarının önce veri tabanına dönüştürülmesi ve sonra bir excel dosyasına aktarılması 6- Web tarayıcısında bir sonraki sayfaya otomatik geçilmesi için ilgili sayfa geçiş linkinin alınması ve konsola yazdırılması 7- Web tarayıcısında bir sonraki sayfaya otomatik geçilmesi 8- Bir while döngüsü ile sonraki sayfalara otomatik geçişi 5 defa tekrarlayarak bu sayfalardaki makale başlıklarını excel dosyasına yazdırma 9- while döngüsü ile sonraki sayfalara otomatik geçişi tüm sayfalar için (16 sayfa) tekrarlayarak tüm makale başlıklarını excel dosyasına yazdırma Diğer konular: Twitter gibi sitelerde otomatik veri çekerken “sayfayı aşağı kaydırma” (scroll down) işlemini Python kodu ile yapmak gerekir.