Üye

Üyelik Tarihi: 28-04-2017
Yorum Sayısı: 98
Konu Sayısı: 0
Rep Puanı:
0
Arkadaşlar Ben UrlList.txt içerisindeki url adreslerinden regex ile veri almak istiyorum UrlList.txt içerisindeki url adresleri alt alta sıralı hkrgln arkadaşın daha önce bana verdiği çoklu bağlantılı örneği gibi nasıl yapabilirim.
Biraz düzenledim ama beceremedim
Kod:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import re
import requests
import urllib2
import threading
UrlList = "UrlList.txt"
tarama_sayisi= 200
SaveUrlData = 'SaveUrlData.txt'
def tara(domain) :
try :
r= requests.get(UrlList+str(domain))
print str(domain), r
dosya=open(SaveUrlData, "ab")
dosya.write(str(r)+"\n"+str(i))
dosya.close()
except requests.ConnectionError:
print "Hata"
for Url in UrlList.read().split('\n'):
f = urllib2.urlopen(Url)
oku=f.read().decode('utf-8')
regex = 'RegexKodlarımBuraya'
comp= re.compile(regex)
links = re.findall(comp,oku)
for i in links:
tara(i)
for i in links:
while threading.activeCount() >= tarama_sayisi:
time.sleep(0.1)
threading.Thread(target=tara,args=(i,)).start()
@Selcuk eğer linkleri çekmek istediğin adres .txt uzantılı ve dediğin gibi linkler alt alta sıralanmış ise bu linkleri çekmek için regex kullanmaya gerek yok. urllib2 ile okutma işleminde "read()" yerine "readlines()" kullanarak da işini halledebilirsin.
import urllib2
oku = urllib2.urlopen("http://linklerin_oldugu_adres.txt").readlines()
bunun sonucu olarak "oku" değişkeni artık url adresleriyle dolu bir listedir.
örneğin;
for i in oku: print i
diyerek url adreslerini listeleyebilirsin veya onlar üzerinde işlem yapabilirsin, gerisi sende.
Üye

Üyelik Tarihi: 28-04-2017
Yorum Sayısı: 98
Konu Sayısı: 0
Rep Puanı:
0
21-10-2017, Saat: 16:55
(Son Düzenleme: 21-10-2017, Saat: 17:06, Düzenleyen: Selcuk.)
gecemor Yok abi linklerin_oldugu_adres.txt masaüstünde
Şöylede yaptım ama olmadı
Kod:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import re
import requests
import urllib2
import threading
tarama_sayisi= 200
def thread_Url(url):
try:
response = urllib2.urlopen(url)
oku=response.read().decode('utf-8')
regex = 'Regex desenim'
comp= re.compile(regex)
links = re.findall(comp,oku)
for i in links:
print(links)
with open("Url.txt", "r") as f:
urls = f.readlines()
threads = []
for i in urls:
while threading.activeCount() >= tarama_sayisi:
time.sleep(0.1)
threading.Thread(target=thread_Url,args=(i,)).start()
Üye

Üyelik Tarihi: 28-04-2017
Yorum Sayısı: 98
Konu Sayısı: 0
Rep Puanı:
0
Veya
Kod:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import re
import requests
import urllib2
import threading
UrlListFile = open("Url.txt","r")
UrlListRead = UrlListFile.read()
UrlListFile.close()
listSplit = UrlListRead.split('\r\n')
UrlsOpen = urllib2.urlopen(listSplit)
ReadSource = UrlsOpen.read().decode('utf-8')
regex = '<title.*?>(.+?)</title>'
comp = re.compile(regex)
links = re.findall(comp,ReadSource)
for i in links:
SaveDataFiles = open("SaveDataMyFile.txt","w")
SaveDataFiles.write(i)
SaveDataFiles.close()
eğer masaüstündeyse yine regex'e gerek yok.
url_liste = open("url.txt").readlines()
Üye

Üyelik Tarihi: 28-04-2017
Yorum Sayısı: 98
Konu Sayısı: 0
Rep Puanı:
0
gecemor
Abi güzel söylüyorsunda url.txt içerisindeki url adreslerine gidip regex ile veri alacam regex olmadan nasıl olacak onu anlamadım 
Bir Örnek daha
Buda başarısız
Kod:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import re
import urllib2
UrlListFile = open("Url.txt", "r")
UrlListRead = UrlListFile.read()
UrlListFile.close()
listSplit = UrlListRead.split('\r\n')
regex = '<title.*?>(.+?)</title>'
comp = re.compile(regex)
websites = []
for url in listSplit:
UrlsOpen = urllib2.urlopen(url)
ReadSource = UrlsOpen.read()
websites.append(re.findall(comp, ReadSource))
with open("SaveDataMyFile.txt", "w") as SaveDataFiles:
for website in websites:
for link in website:
SaveDataFiles.write(link)
SaveDataFiles.close()
Buda şöyle bir hata veriyor
Traceback (most recent call last):
File "Mypy.py", line 14, in <module>
UrlsOpen = urllib2.urlopen(url)
File "/usr/lib/python2.7/urllib2.py", line 154, in urlopen
return opener.open(url, data, timeout)
File "/usr/lib/python2.7/urllib2.py", line 427, in open
req = meth(req)
File "/usr/lib/python2.7/urllib2.py", line 1126, in do_request_
raise URLError('no host given')
urllib2.URLError: <urlopen error no host given>
Üye

Üyelik Tarihi: 28-04-2017
Yorum Sayısı: 98
Konu Sayısı: 0
Rep Puanı:
0
Geliştirici Üye
    
Üyelik Tarihi: 06-03-2016
Yorum Sayısı: 1,344
Konu Sayısı: 40
Rep Puanı:
38
22-10-2017, Saat: 15:09
(Son Düzenleme: 22-10-2017, Saat: 15:10, Düzenleyen: Ethnic.)
@Selcuk yapmaya çalıştığın şey bu mu?
PHP Kod:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import re import urllib2
urllist = open("Url.txt", "r").read().split('\n') for i in urllist: git=re.findall('<title.*?>(.*?)</title>',urllib2.urlopen(i).read())[0] kaydet=open('SaveMyDataFile.txt','ab').write('\n'+git) print '\n'+git
Üye

Üyelik Tarihi: 28-04-2017
Yorum Sayısı: 98
Konu Sayısı: 0
Rep Puanı:
0
22-10-2017, Saat: 15:31
(Son Düzenleme: 22-10-2017, Saat: 15:43, Düzenleyen: Selcuk.)
@Ethnic evet üstad fakat seninkide hata verdi 
Test Blog Turkish characters test öşğüçı | Python regex test blog
Traceback (most recent call last):
File "Mypy.py", line 8, in <module>
git=re.findall('<title.*?>(.*?)</title>',urllib2.urlopen(i).read())[0]
File "/usr/lib/python2.7/urllib2.py", line 154, in urlopen
return opener.open(url, data, timeout)
File "/usr/lib/python2.7/urllib2.py", line 421, in open
protocol = req.get_type()
File "/usr/lib/python2.7/urllib2.py", line 283, in get_type
raise ValueError, "unknown url type: %s" % self.__original
ValueError: unknown url type:
Sanırım şu blogun https://qpythonclub.blogspot.com.tr/ <title>qpython.club Test Blogu öşğüçı | Python regex test blog</title> kısmını okuyamadı
veya şu sitenin url sini okuyamıyor http://docs.python-guide.org/en/latest/ tam bilemiyorum
Geliştirici Üye
    
Üyelik Tarihi: 06-03-2016
Yorum Sayısı: 1,344
Konu Sayısı: 40
Rep Puanı:
38
karakter hatasi değil, telefonda denedim sorun cıkarmadı, bilinmeyen url tipi diyor, sen yukarıda verdigin listeyi mi denedin yoksa baska url ler ekleyip mi denedin?
|