Konuyu Oyla:
  • Toplam: 3 Oy - Ortalama: 3.67
  • 1
  • 2
  • 3
  • 4
  • 5
Python Dili Soru & Cevap
Arkadaşlar Ben UrlList.txt içerisindeki url adreslerinden regex ile veri almak istiyorum UrlList.txt içerisindeki url adresleri alt alta sıralı hkrgln arkadaşın daha önce bana verdiği çoklu bağlantılı örneği gibi nasıl yapabilirim.

Biraz düzenledim ama beceremedim
Kod:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import re
import requests
import urllib2
import threading

UrlList = "UrlList.txt"
tarama_sayisi= 200

SaveUrlData = 'SaveUrlData.txt'

def tara(domain) :
    
    try :    
        r= requests.get(UrlList+str(domain))

        print str(domain), r

        dosya=open(SaveUrlData, "ab")

        dosya.write(str(r)+"\n"+str(i))

        dosya.close()
 

    except requests.ConnectionError:
        print "Hata"

for Url in UrlList.read().split('\n'):
    f = urllib2.urlopen(Url)
oku=f.read().decode('utf-8')

regex = 'RegexKodlarımBuraya'

comp= re.compile(regex)

links = re.findall(comp,oku)

for i in links:

    tara(i)
    
for i in links:
    while threading.activeCount() >= tarama_sayisi:                                
        time.sleep(0.1)                                                            
    threading.Thread(target=tara,args=(i,)).start()
Ara
Cevapla
@Selcuk eğer linkleri çekmek istediğin adres .txt uzantılı ve dediğin gibi linkler alt alta sıralanmış ise bu linkleri çekmek için regex kullanmaya gerek yok. urllib2 ile okutma işleminde "read()" yerine "readlines()" kullanarak da işini halledebilirsin.

import urllib2

oku = urllib2.urlopen("http://linklerin_oldugu_adres.txt").readlines()

bunun sonucu olarak "oku" değişkeni artık url adresleriyle dolu bir listedir.

örneğin;

for i in oku: print i

diyerek url adreslerini listeleyebilirsin veya onlar üzerinde işlem yapabilirsin, gerisi sende.
Turbobit Premium Link Çeviri | Turbobit Link Generator | http://turbobit.qpython.club
Cevapla
gecemor Yok abi linklerin_oldugu_adres.txt masaüstünde

Şöylede yaptım ama olmadı
Kod:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import re
import requests
import urllib2
import threading

tarama_sayisi= 200

def thread_Url(url):
    try:
        response = urllib2.urlopen(url)
        oku=response.read().decode('utf-8')
    regex = 'Regex desenim'
    comp= re.compile(regex)
    links = re.findall(comp,oku)
    for i in links:
            print(links)

    with open("Url.txt", "r") as f:
           urls = f.readlines()
    threads = []
    for i in urls:
            while threading.activeCount() >= tarama_sayisi:                                
                time.sleep(0.1)                                                            
            threading.Thread(target=thread_Url,args=(i,)).start()
Ara
Cevapla
Veya
Kod:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import re
import requests
import urllib2
import threading

UrlListFile = open("Url.txt","r")
UrlListRead = UrlListFile.read()
UrlListFile.close()
listSplit = UrlListRead.split('\r\n')


UrlsOpen = urllib2.urlopen(listSplit)
ReadSource = UrlsOpen.read().decode('utf-8')
regex = '<title.*?>(.+?)</title>'
comp = re.compile(regex)
links = re.findall(comp,ReadSource)
for i in links:
    SaveDataFiles = open("SaveDataMyFile.txt","w")
    SaveDataFiles.write(i)
SaveDataFiles.close()
Ara
Cevapla
eğer masaüstündeyse yine regex'e gerek yok.

url_liste = open("url.txt").readlines()
Turbobit Premium Link Çeviri | Turbobit Link Generator | http://turbobit.qpython.club
Cevapla
gecemor
Abi güzel söylüyorsunda url.txt içerisindeki url adreslerine gidip regex ile veri alacam regex olmadan nasıl olacak onu anlamadım Big Grin
Bir Örnek daha Big Grin

Buda başarısız Sad
Kod:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import re
import urllib2

UrlListFile = open("Url.txt", "r")
UrlListRead = UrlListFile.read()
UrlListFile.close()
listSplit = UrlListRead.split('\r\n')
regex = '<title.*?>(.+?)</title>'
comp = re.compile(regex)
websites = []
for url in listSplit:
   UrlsOpen = urllib2.urlopen(url)
   ReadSource = UrlsOpen.read()
   websites.append(re.findall(comp, ReadSource))

with open("SaveDataMyFile.txt", "w") as SaveDataFiles:
   for website in websites:
       for link in website:
           SaveDataFiles.write(link)
       SaveDataFiles.close()

Buda şöyle bir hata veriyor
Traceback (most recent call last):
 File "Mypy.py", line 14, in <module>
   UrlsOpen = urllib2.urlopen(url)
 File "/usr/lib/python2.7/urllib2.py", line 154, in urlopen
   return opener.open(url, data, timeout)
 File "/usr/lib/python2.7/urllib2.py", line 427, in open
   req = meth(req)
 File "/usr/lib/python2.7/urllib2.py", line 1126, in do_request_
   raise URLError('no host given')
urllib2.URLError: <urlopen error no host given>
Ara
Cevapla
Bu arada Url.txt örnek bir url listesi bu şekilde alt alta sıralanmış url ler



Alıntı:https://www.python.org/
http://qpython.club/
https://qpythonclub.blogspot.com.tr/
http://docs.python-guide.org/en/latest/
Ara
Cevapla
@Selcuk yapmaya çalıştığın şey bu mu?
PHP Kod:
#!/usr/bin/env python

# -*- coding: utf-8 -*-

import re
import urllib2

urllist 
= open("Url.txt", "r").read().split('\n')
for 
i in urllist:
    
git=re.findall('<title.*?>(.*?)</title>',urllib2.urlopen(i).read())[0]
    
kaydet=open('SaveMyDataFile.txt','ab').write('\n'+git)
    print 
'\n'+git 
Ara
Cevapla
@Ethnic evet üstad fakat seninkide hata verdi Big Grin
Test Blog Turkish characters test öşğüçı | Python regex test blog
Traceback (most recent call last):
File "Mypy.py", line 8, in <module>
git=re.findall('<title.*?>(.*?)</title>',urllib2.urlopen(i).read())[0]
File "/usr/lib/python2.7/urllib2.py", line 154, in urlopen
return opener.open(url, data, timeout)
File "/usr/lib/python2.7/urllib2.py", line 421, in open
protocol = req.get_type()
File "/usr/lib/python2.7/urllib2.py", line 283, in get_type
raise ValueError, "unknown url type: %s" % self.__original
ValueError: unknown url type:

Sanırım şu blogun https://qpythonclub.blogspot.com.tr/ <title>qpython.club Test Blogu öşğüçı | Python regex test blog</title> kısmını okuyamadı

veya şu sitenin url sini okuyamıyor http://docs.python-guide.org/en/latest/ tam bilemiyorum
Ara
Cevapla
karakter hatasi değil, telefonda denedim sorun cıkarmadı, bilinmeyen url tipi diyor, sen yukarıda verdigin listeyi mi denedin yoksa baska url ler ekleyip mi denedin?
Ara
Cevapla

{lang: 'en'}


Konu ile Alakalı Benzer Konular
Konular Yazar Yorumlar Okunma Son Yorum
  15gb .myd uzantılı dosya python ile okutma perry 1 2,015 27-11-2022, Saat: 17:59
Son Yorum: perry
  GÜNCEL Python request , c# request e göre çok yavaş ne yapabilirim perry 12 5,204 28-09-2022, Saat: 20:27
Son Yorum: krast
  YENİ Python Pyqt5 memory leak sorunu perry 3 2,439 28-09-2022, Saat: 11:33
Son Yorum: gecemor
  YENİ PYTHON ads approval CaglarDevv 2 2,255 04-07-2022, Saat: 01:23
Son Yorum: CaglarDevv
  python konusunda yardıma ihtiyacım var $cr!pt HUB 3 1,679 15-06-2022, Saat: 18:11
Son Yorum: CaglarDevv

Hızlı Menü:


Konuyu Okuyanlar: 2 Ziyaretçi
Change Theme