Geliştirici Üye
    
Üyelik Tarihi: 06-03-2016
Yorum Sayısı: 1,344
Konu Sayısı: 40
Rep Puanı:
38
@Selcuk şunu bi denesene.
PHP Kod:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import re import urllib2
urllist = open("Url.txt", "r").read().split('\n') for i in urllist: print i git=re.findall('<title.*?>(.*?)</title>',urllib2.urlopen(i.replace(' ','')).read())[0] kaydet=open('SaveMyDataFile.txt','ab').write('\n'+git) print '\n'+git.decode('utf-8')
Üye

Üyelik Tarihi: 28-04-2017
Yorum Sayısı: 98
Konu Sayısı: 0
Rep Puanı:
0
22-10-2017, Saat: 16:02
(Son Düzenleme: 22-10-2017, Saat: 16:15, Düzenleyen: Selcuk.)
@Ethnic
(22-10-2017, Saat: 15:58)Ethnic Nickli Kullanıcıdan Alıntı: @Selcuk şunu bi denesene.
PHP Kod:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import re import urllib2
urllist = open("Url.txt", "r").read().split('\n') for i in urllist: print i git=re.findall('<title.*?>(.*?)</title>',urllib2.urlopen(i.replace(' ','')).read())[0] kaydet=open('SaveMyDataFile.txt','ab').write('\n'+git) print '\n'+git.decode('utf-8')
Geliştirici Üye
    
Üyelik Tarihi: 06-03-2016
Yorum Sayısı: 1,344
Konu Sayısı: 40
Rep Puanı:
38
@Selcuk sorun senin txt dosyasinda, muhtemelen en sonda bos bir satir daha var. ve biz split ile aldigimiz en sondaki satiri yani bos olan satiri url olarak okumaya calisiyor ve bu yuzden hata veriyor. yoksa text dosyasindaki butun linkleri basariyla oludugunu goruyoruz.
cözüm : ya text dosyanı düzenle, yada for dongusunde hata almamak icin try except methodu kullan..
PHP Kod:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import re import urllib2
urllist = open("Url.txt", "r").read().split('\n') for i in urllist: try: git=re.findall('<title.*?>(.*?)</title>',urllib2.urlopen(i.replace(' ','')).read())[0] kaydet=open('SaveMyDataFile.txt','ab').write('\n'+git) print '\n'+git.decode('utf-8') except: pass
Geliştirici Üye
    
Üyelik Tarihi: 06-03-2016
Yorum Sayısı: 1,344
Konu Sayısı: 40
Rep Puanı:
38
print '\n'+git.decode('utf-8')
yerine
print '\n'+git
yazın, pc'de karakter hatası çıkartıyor. Eğer ekrana basılan yazılar düzgün okunsun istiyosan yine de şunu kullanabilirsin.
PHP Kod:
# -*- coding: utf-8 -*-
import re import urllib2
urllist = open("Url.txt").readlines() try: for i in urllist: i = i.strip() if i.startswith("http"): print i git=re.findall('<title.*?>(.*?)</title>',urllib2.urlopen(i.replace(' ','')).read())[0] kaydet=open('SaveMyDataFile.txt','ab').write('\n'+git) print '\n'+git.decode('utf-8') except: pass
Eğer farklı bir hata oluştuğunu düşünüyosan ve try-except yüzünden hatanın ne olduğunu anlayamıyorsan, except bloğuna şunu yazabilirsin.
PHP Kod:
except Exception as hata: print hata
Ayrıca;
urllist = open("Url.txt", "r").read().split('\n')
ile
urllist = open("Url.txt").readlines()
aynı işlevi yapıyor ama tek fark split ile aldığında "\n" çıkmaması ama satırın sonunda veya başında boşluk olduğunda yine hata verecektir o yüzden önlemi strip() metoduyla alırsınız. strip() satırın sonunda ve başında boşluk veya "\n" ve "\r" gibi karakterler varsa onlardan arındırır, zaten adı üstünde soyuyor  Ee bu durumda satırlarda herhangi bir aksama olmaması için readlines() ile okutmayı ben her zaman tercih etmişimdir. (yine de siz bilirsiniz)
Geliştirici Üye
    
Üyelik Tarihi: 06-03-2016
Yorum Sayısı: 1,344
Konu Sayısı: 40
Rep Puanı:
38
benim simdiye kadar hic readlines'a isim düşmamişti.  strip()'i de öğrendiğimiz iyi oldu
Üye

Üyelik Tarihi: 28-04-2017
Yorum Sayısı: 98
Konu Sayısı: 0
Rep Puanı:
0
Yok abi ya windows işletim sisteminde denedim gene hata verdi.
resim göstereyim gördüğün gibi notepad++ son satır yok.
aslında gidip regex ile veriyi alıyor ama neden se En son hata veriyor yani try: except: eklemeden bu tür hatalar veriyor bunların nedeni ve çaresi yokmu
Geliştirici Üye
    
Üyelik Tarihi: 06-03-2016
Yorum Sayısı: 1,344
Konu Sayısı: 40
Rep Puanı:
38
gecemorun mesajini okudun mu?
Üye

Üyelik Tarihi: 28-04-2017
Yorum Sayısı: 98
Konu Sayısı: 0
Rep Puanı:
0
22-10-2017, Saat: 23:45
(Son Düzenleme: 22-10-2017, Saat: 23:56, Düzenleyen: Selcuk.)
Şimdi geldim abi gördüm teşekkür ederim ayrıntılı açıklama için.
Ben buna her uğradığı url adresine git.add_header('Referer', 'http://www.python.org') eklemek istiyorum ekledim ama yanlış ekledim galiba
Birde sormak istediğim birşey daha var yavaş çalışıyor.
sayfa 101 de @hkrgln arkadaşın verdiği şu örneği buna nasıl eklerim
tarama_sayisi= 200
for i in links:
while threading.activeCount() >= tarama_sayisi:
time.sleep(0.1)
threading.Thread(target=tara,args=(i,)).start()
gecemor @Ethnic
Kod:
# -*- coding: utf-8 -*-
import threading
import re
import urllib2
tarama_sayisi= 200
urllist = open("Url.txt").readlines()
try:
for i in urllist:
i = i.strip()
if i.startswith("http"):
print i
tara(i)
while threading.activeCount() >= tarama_sayisi:
time.sleep(0.1)
threading.Thread(target=tara,args=(i,)).start()
git=re.findall('<title.*?>(.*?)</title>',urllib2.urlopen(i.replace(' ','')).read())[0]
git.add_header('Referer', 'http://www.python.org')
kaydet=open('SaveMyDataFile.txt','ab').write('\n'+git)
print '\n'+git.decode('utf-8')
#except Exception as hata:
#print hata
except:
pass
urllib2 ile header eklemek için ilk olarak "Request" fonksiyonunu kullanmalısın. Örnek;
# ilk olarak istek gönderiyoruz
istek = urllib2.Request("http://python.org")
# sonra gönderdiğimiz isteğe header ekliyoruz
istek.add_header("Referer", "http://python.org")
# ve en son "urlopen" fonksiyonu ile isteği okutuyoruz
oku = urllib2.urlopen(istek).read()
threading'i çalıştırmak için ise bir fonksiyona ihtiyacın var. Url okutma işlemlerini bir fonksiyon içine al ve parametre olarak "i" yaz, "def fonksiyon(i):" şeklinde. Burdaki "i" nin adı farklı olabilir ama bu i senin yönlendireceğin url'lerin yerine geçecek olan "i" dir. (for döngüsündeki)
Daha sonra for döngüsü içindeki threading'de "target=fonksiyon_adı" ve "args=(i,)" yaz. "tarama sayısı" diye yazdığın kısım da maksimum thread sayısını belirler ve bu bağlantı hızına ve cihazın işlem gücüne göre değişir. Eğer çok yüksek yaparsan threading hatalarıyla karşılaşabilirsin.
Bunları böyle anlattım çünkü hazır verdikten sonra bütün bunların bi anlamı kalmaz, parçaları sen birleştireceksin ki python'u daha iyi kavramanda bir fayda sağlayabilelim
|