Konuyu Oyla:
  • Toplam: 3 Oy - Ortalama: 3.67
  • 1
  • 2
  • 3
  • 4
  • 5
Python Dili Soru & Cevap
@hkrgln Burada http://qpython.club/showthread.php?tid=1...3#pid35333 time kullanmış ama imort etmemiş
Şimdi hata vermiyor düzelttim sanırım ama hiç işlemde yapmıyor.

Kod:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import requests
import threading
import re
import urllib2
import time

tarama_sayisi = 150

def url_okutma_islemleri(url):
    istek = urllib2.Request(url)
    istek.add_header("Referer", "http://python.org")
    oku = urllib2.urlopen(istek).read()
    regex = '<title.*?>(.*?)</title>'
    comp = re.compile(regex)
    links = re.findall(comp,oku)
    
    for i in links:
        kaydet = open('SaveMyDataFile.txt','ab').write('\n'+i)
    print '\n'+links.decode('utf-8')
    try:
        urllist = open("Url.txt").readlines()
        for i in urllist:
            i = i.strip()
            if i.startswith("http"):
                while threading.activeCount() >= tarama_sayisi:
                    time.sleep(0.1)
                    threading.Thread(target=url_okutma_islemleri, args=(i,)).start()
    except:
    pass
Ara
Cevapla
@Selcuk hakan yazmayı unutmuştur, sen yaz Smile

ayrıca amacın işini gördürmekse ona karışmam ama amacın python öğrenmekse aşağıdaki kaynaktan faydalanabilirsin.

https://belgeler.yazbel.com/python-istihza/
Ara
Cevapla
ben birtürlü beceremedim araştırıp ekliyorum değiştiriyorum ama herseferinde bir hata çıkıyor bir üst mesajımdaki hata vermiyor fakat buda herhangi bir veri almıyor anlamadım gitti.
Kod:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import requests
import threading
import re
import urllib2
import time

tarama_sayisi = 150

def url_okutma_islemleri(url):
    istek = urllib2.Request(url)
    istek.add_header("Referer", "http://python.org")
    oku = urllib2.urlopen(istek).read()
    regex = '<title.*?>(.*?)</title>'
    comp = re.compile(regex)
    links = re.findall(comp,oku)
    
    for i in links:
        kaydet = open('SaveMyDataFile.txt','ab').write('\n'+i)
    print '\n'+links.decode('utf-8')
    try:
        urllist = open("Url.txt").readlines()
        for i in urllist:
            i = i.strip()
            if i.startswith("http"):
                while threading.activeCount() >= tarama_sayisi:
                    time.sleep(0.1)
                    threading.Thread(target=url_okutma_islemleri, args=(i,)).start()
    except:
    pass
Ara
Cevapla
telefondan yapmıyosan tek seçeneğin python değil. böyle de oluyo
Ara
Cevapla
@excel Teşekkür ederim sizin ve diğer arkadaşların cevapları için fakat şöyle birşey var bunu yapan bir çok alternatif ve program var benim Url.txt dosyası çok yüksek boyutlu içerisinde 99794 tane url var 8 MB civarında Bu alternatiflerin hiç biri hızlı veri çekemiyor.
Ben istiyorumki olabildiğince birden çok bağlantı ile çok hızlı bir şekilde bu url adreslerinden veri alsın.
Ara
Cevapla
o kadar da zor gelmedi bana örnek kodlar verilmiş onlardan yola çıkarak istediğini yapabilirsin
Ara
Cevapla
Sorunda orda zaten çabalıyorum ama yapamıyorum
Ara
Cevapla
dosyayı parçalara ayır, aynı scripti ayrı ayrı parçalar için çalıştır arkaplanda yine olur. aşırı hızlı bişey istiyosan c'de yazabilirsin
Ara
Cevapla
@excel dosyamın boyutu sorun yaratmıyorki neden parçalara böleyim?
99794 tane url adresinden veri almayı yavaş bir yöntemle yaparsam bilgisayarı açık bıraksam dahi 5 günde anca biter 5 günde bitmesi sorun değil bitmeden problem çıkarsa sil başa dön vs...
Ara
Cevapla
@excel farkında mısın adam python'da zorlanıyor, c de nasıl yapacak? Threading ile benim tarif ettiğim şekilde yapsa yine baya hızlı olacak, o kadar da hafife alınacak bir şey olmaz. Ama şu var, adam python öğrenmek istiyor da olabilir.

Bak dostum python sevmiyorsan veya python'u küçük görüyorsan bu foruma takılma mecburiyetinde değilsin. Adam burda python ile ilgili bir soru sormuş ve bunu python ile yaparak bu dili öğrenmek istiyor da olabilir. Eğer maksat adamın işini halledebilmek olsaydı istediği kodu yapar verirdik zaten.
Turbobit Premium Link Çeviri | Turbobit Link Generator | http://turbobit.qpython.club
Cevapla

{lang: 'en'}


Konu ile Alakalı Benzer Konular
Konular Yazar Yorumlar Okunma Son Yorum
  15gb .myd uzantılı dosya python ile okutma perry 1 2,015 27-11-2022, Saat: 17:59
Son Yorum: perry
  GÜNCEL Python request , c# request e göre çok yavaş ne yapabilirim perry 12 5,204 28-09-2022, Saat: 20:27
Son Yorum: krast
  YENİ Python Pyqt5 memory leak sorunu perry 3 2,439 28-09-2022, Saat: 11:33
Son Yorum: gecemor
  YENİ PYTHON ads approval CaglarDevv 2 2,255 04-07-2022, Saat: 01:23
Son Yorum: CaglarDevv
  python konusunda yardıma ihtiyacım var $cr!pt HUB 3 1,679 15-06-2022, Saat: 18:11
Son Yorum: CaglarDevv

Hızlı Menü:


Konuyu Okuyanlar: 1 Ziyaretçi
Change Theme