sen aslında şu kısmı soruyosun
Kod:
request = re.findall('<title.*?>(.*?)</title>', urllib2.urlopen(url.replace(' ','')).read())[0]
biz regex ile re modülünün findall fonksiyonu ile arama yapıyoruz ve bu ne motod şu şekilde temel olarak
ara = re.findall(regex, hedef_text)
bunun sonucu bize liste olarak geri dönecektir, listelerin içeriklerini de "liste[0]", "liste[1]", "liste[2]" şeklinde çağırıyoruz.
replace metodu ise, bir karakter dizisindeki değiştirilmesini istediğimiz karakteri değiştirmemize yarıyor, parantez içindeki birinci argüman değiştirilmesini istediğimiz karakterler, ikincisi ise yerine gelmesini istediğimiz karakter.
"selam hafiz naber".replaca(" ", "")
yaparsak birinci argüman " " yani boşluk, ikincisi ise "" yani hiç bir şey olduğundan sonuç
"selamhafiznaber" olacaktır.
Sonuç olarak
request = re.findall('<title.*?>(.*?)</title>', urllib2.urlopen(url.replace(' ','')).read())[0]
kısmında re.findall ile '<title.*?>(.*?)</title>' diye belirlediğimiz regex'imizi urllib2 ile url'leri replace ile boşluklardan arındırıp okuttuğumuz kaynaktan çekip [0] liste numarasına gidiyoruz.
düzenli olarak verecek olursak
import urllib2, re
regex = '<title.*?>(.*?)</title>'
#bu kısmı ethnic, url içinde boşluk olma olasılığına karşı yapmış
url = url.replace(' ', '')
kaynak = urllib2.urlopen(url).read()
request = re.findall(regex, kaynak)
#re.findall ile sonuç liste olarak döneceğinden ve title bir tane olacağından sadece 1'inci yani [0] liste numarası yeterli bizim için.
print request[0]
Geliştirici Üye
    
Üyelik Tarihi: 06-03-2016
Yorum Sayısı: 1,344
Konu Sayısı: 40
Rep Puanı:
38
(04-11-2017, Saat: 10:37)gecemor Nickli Kullanıcıdan Alıntı: sen aslında şu kısmı soruyosun
Kod:
request = re.findall('<title.*?>(.*?)</title>', urllib2.urlopen(url.replace(' ','')).read())[0]
biz regex ile re modülünün findall fonksiyonu ile arama yapıyoruz ve bu ne motod şu şekilde temel olarak
ara = re.findall(regex, hedef_text)
bunun sonucu bize liste olarak geri dönecektir, listelerin içeriklerini de "liste[0]", "liste[1]", "liste[2]" şeklinde çağırıyoruz.
replace metodu ise, bir karakter dizisindeki değiştirilmesini istediğimiz karakteri değiştirmemize yarıyor, parantez içindeki birinci argüman değiştirilmesini istediğimiz karakterler, ikincisi ise yerine gelmesini istediğimiz karakter.
"selam hafiz naber".replaca(" ", "")
yaparsak birinci argüman " " yani boşluk, ikincisi ise "" yani hiç bir şey olduğundan sonuç
"selamhafiznaber" olacaktır.
Sonuç olarak
request = re.findall('<title.*?>(.*?)</title>', urllib2.urlopen(url.replace(' ','')).read())[0]
kısmında re.findall ile '<title.*?>(.*?)</title>' diye belirlediğimiz regex'imizi urllib2 ile url'leri replace ile boşluklardan arındırıp okuttuğumuz kaynaktan çekip [0] liste numarasına gidiyoruz.
düzenli olarak verecek olursak
import urllib2, re
regex = '<title.*?>(.*?)</title>'
#bu kısmı ethnic, url içinde boşluk olma olasılığına karşı yapmış
url = url.replace(' ', '')
kaynak = urllib2.urlopen(url).read()
request = re.findall(regex, kaynak)
#re.findall ile sonuç liste olarak döneceğinden ve title bir tane olacağından sadece 1'inci yani [0] liste numarası yeterli bizim için.
print request[0]
Ögretmenlerim zamanında bana böyle ayrıntılı ders anlatsa şu an nasa'da bilim adamıydım.
Nasa da bir şey mi , sen buranın bilim adamısın  .
Vip üye
    
Üyelik Tarihi: 03-02-2016
Yorum Sayısı: 779
Konu Sayısı: 59
Rep Puanı:
8
Üye

Üyelik Tarihi: 28-04-2017
Yorum Sayısı: 98
Konu Sayısı: 0
Rep Puanı:
0
gecemor Teşekkür ederim [0] 0.Cı index olduğunu anladım eğer url.txt listemizde boşluk karakterleri yoksa genede replace(' ','') kullanmamıza gerek varmı?
Bu arada şöyle yaptım şöyle bir hata alıyorum can only concatenate list (not "str") to list
Kod:
# -*- coding: utf-8 -*-
import re
import urllib2
import threading
import time
import requests
max_thread = 10
urllist = open("Url.txt").readlines()
regex = '<title.*?>(.*?)</title>'
def url_oku(url):
try :
request = urllib2.Request(url)
request.add_header('Referer', 'https://www.python.org')
request = url.replace(' ','')
kaynak = urllib2.urlopen(url).read()
oku = re.findall(regex, kaynak)
print oku[0]
with open('SaveMyDataFile.txt', 'ab') as f:
f.write(oku + "\n")
except Exception as hata:
print hata
pass
for i in urllist:
i = i.strip()
if i.startswith("http"):
while threading.activeCount() >= max_thread:
time.sleep(0.1)
threading.Thread(target=url_oku, args=(i,)).start()
Üye

Üyelik Tarihi: 28-04-2017
Yorum Sayısı: 98
Konu Sayısı: 0
Rep Puanı:
0
Veya başka bir örnek daha fakat buda ekrana replacereplace yazdırıyor
Kod:
# -*- coding: utf-8 -*-
import re
import urllib2
import threading
import time
import requests
max_thread = 5
urllist = open("Url.txt").readlines()
def url_oku(url):
try :
request = urllib2.Request(url)
request.add_header('Referer', 'https://www.python.org/')
git = re.findall('<title.*?>(.*?)</title>', urllib2.urlopen(request.replace(' ','')).read())[0]
print git
with open('SaveMyDataFile.txt', 'ab') as f:
f.write(git + "\n")
except Exception as Errors:
print Errors
pass
for i in urllist:
i = i.strip()
if i.startswith("http"):
while threading.activeCount() >= max_thread:
time.sleep(0.1)
threading.Thread(target=url_oku, args=(i,)).start()
Geliştirici Üye
    
Üyelik Tarihi: 06-03-2016
Yorum Sayısı: 1,344
Konu Sayısı: 40
Rep Puanı:
38
(04-11-2017, Saat: 20:42)Norm Arslan Nickli Kullanıcıdan Alıntı: Nasa da bir şey mi , sen buranın bilim adamısın .
Hahah eyvallah
Selçuk çok hata yapıyosun. Bak, replace metodu ile sadece karakter dizilerinde işlem yapabilirsin, ama sen gönderdiğin isteğe replace yapmaya çalışıyosun. Zaten hata almazsan abes olurdu. Replace falan unut, bu kodda yapmana gerek yok, ben sadece ne işe yaradığını ve nerde kullanıldığını gösterdim. Yerini değiştirip farklı yerlerle kullanmana gerek yoktu.
For döngüsünde url'leri çekip strip() metodu ile sağında solunda boşlukları veya "\n" gibi karakterleri temizledik zaten. Dediğim gibi ethnic strip() kullanmadığı için boşluk olma olasılığına karşı replace kullanmış. Aynı hesaba geliyor her ikisi de. strip(), split(), replace() gibi metodları karakter dizilerinde kullanabilirsin sadece.
Üye

Üyelik Tarihi: 28-04-2017
Yorum Sayısı: 98
Konu Sayısı: 0
Rep Puanı:
0
gecemor Tamam abi replace kullanmadım
can only concatenate list (not "str") to list
Kod:
# -*- coding: utf-8 -*-
import re
import urllib2
import threading
import time
import requests
max_thread = 10
urllist = open("Url.txt").readlines()
def url_oku(url):
try :
request = urllib2.Request(url)
request.add_header("Referer", "https://www.python.org")
oku = urllib2.urlopen(url).read()
links = re.findall('<title.*?>(.*?)</title>', oku)
print links
with open('SaveMyDataFile.txt', 'ab') as f:
f.write(links + "\n")
except Exception as hata:
print hata
pass
for i in urllist:
i = i.strip()
if i.startswith("http"):
while threading.activeCount() >= max_thread:
time.sleep(0.1)
threading.Thread(target=url_oku, args=(i,)).start()
request = urllib2.Request(url)
request.add_header("Referer", "https://www.python.org")
oku = urllib2.urlopen(url).read()
1. hata bak, bu kısımdaki kullanımı ben sana ayrıntılı olarak anlattım. En son urlopen ile okuturken hazırladığın isteği okutacaksın, yoksa header ekleyip istek hazırlamak anlamsız olur.
links = re.findall('<title.*?>(.*?)</title>', oku)
print links
with open('SaveMyDataFile.txt', 'ab') as f:
f.write(links + "\n")
bu da 2. hata... Daha önce de dedim ki re.findall ile dönen sonuç liste olacaktır, işte sen de o listeden her hangi bir eleman seçmeden listeyi direkt olduğu gibi yazdırmaya çalışmışsın, except bloğunda "print hata" ile ekrana yazan hatanın sebebi bu.
|