Konuyu Oyla:
  • Toplam: 0 Oy - Ortalama: 0
  • 1
  • 2
  • 3
  • 4
  • 5
[GÜNCEL] Python request , c# request e göre çok yavaş ne yapabilirim
#1
c# ile bir apiye request atıyorum dakikada 1200 request gönderebilirken python da dakikada 500-700 request arası gönderiyorum thread ile çözmeye çalıştım fakat 100-200 thread de program kapanıyor nerde hata yapıyor olabilirim python da başka altarnatif request kütüphaneleri varmı yada methodları

kullandığım kütüphaneler:
bs4
thinker
request
Ara
Cevapla
#2
Yaptığınız istekler nasıl istekler örneğin tek bir istek yaklaşık kaç saniye alıyor, istek sonucunda dönen response'u işliyor musunuz ve boyutu çok büyük mü? 

Dakikada 1200 istek gerçekten çok fazla  Smile ve kendim hiç bu kadar istek yapmadım.

Kodu bilmediğim için kesin konuşmak istemiyorum ama ben pythonda 100 200 threadın sağlıklı olmadığını düşünüyorum.
Uç durumlarda bile en fazla 50 thread kullanmışımdır requests için.


Python asyncio ile aranız iyi ise aiohttp kullanabilirsiniz.
Linkteki örneğe bakabilirsiniz 
https://www.twilio.com/blog/asynchronous...th-aiohttp
Ara
Cevapla
#3
[color=var(--color-fg-default)]cookies [color=var(--color-prettylights-syntax-constant)]= {[/color]

[color=var(--color-fg-default)]    [color=var(--color-prettylights-syntax-string)]'csrf'[/color]: [color=var(--color-prettylights-syntax-string)]'***********************'[/color],[/color]

[color=var(--color-fg-default)]    [color=var(--color-prettylights-syntax-string)]'session'[/color]: [color=var(--color-prettylights-syntax-string)]'********************'[/color],[/color]

[color=var(--color-fg-default)]}[/color]




[color=var(--color-fg-default)]headers [color=var(--color-prettylights-syntax-constant)]=[/color] {[/color]

[color=var(--color-fg-default)]    [color=var(--color-prettylights-syntax-string)]'authority'[/color]: [color=var(--color-prettylights-syntax-string)]'*********************'[/color],[/color]

[color=var(--color-fg-default)]    [color=var(--color-prettylights-syntax-string)]'accept'[/color]: [color=var(--color-prettylights-syntax-string)]'************************'[/color],[/color]

[color=var(--color-fg-default)]    [color=var(--color-prettylights-syntax-string)]'accept-language'[/color]: [color=var(--color-prettylights-syntax-string)]'***************'[/color],[/color]

[color=var(--color-fg-default)]    [color=var(--color-prettylights-syntax-string)]'cache-control'[/color]: [color=var(--color-prettylights-syntax-string)]'*****************'[/color],[/color]

[color=var(--color-fg-default)]    [color=var(--color-prettylights-syntax-comment)]# Requests sorts cookies= alphabetically[/color][/color]

[color=var(--color-fg-default)]    [color=var(--color-prettylights-syntax-string)]'cookie'[/color]: [color=var(--color-prettylights-syntax-string)]'************************'[/color],[/color]

[color=var(--color-fg-default)]    [color=var(--color-prettylights-syntax-string)]'origin'[/color]: [color=var(--color-prettylights-syntax-string)]'************************'[/color],[/color]

[color=var(--color-fg-default)]    [color=var(--color-prettylights-syntax-string)]'referer'[/color]: [color=var(--color-prettylights-syntax-string)]'***********************'[/color],[/color]

[color=var(--color-fg-default)]    [color=var(--color-prettylights-syntax-string)]'sec-fetch-dest'[/color]: [color=var(--color-prettylights-syntax-string)]'****************'[/color],[/color]

[color=var(--color-fg-default)]    [color=var(--color-prettylights-syntax-string)]'sec-fetch-mode'[/color]: [color=var(--color-prettylights-syntax-string)]'****************'[/color],[/color]

[color=var(--color-fg-default)]    [color=var(--color-prettylights-syntax-string)]'sec-fetch-site'[/color]: [color=var(--color-prettylights-syntax-string)]'****************'[/color],[/color]

[color=var(--color-fg-default)]    [color=var(--color-prettylights-syntax-string)]'sec-fetch-user'[/color]: [color=var(--color-prettylights-syntax-string)]'?1'[/color],[/color]

[color=var(--color-fg-default)]    [color=var(--color-prettylights-syntax-string)]'sec-gpc'[/color]: [color=var(--color-prettylights-syntax-string)]'1'[/color],[/color]

[color=var(--color-fg-default)]    [color=var(--color-prettylights-syntax-string)]'upgrade-insecure-requests'[/color]: [color=var(--color-prettylights-syntax-string)]'1'[/color],[/color]

[color=var(--color-fg-default)]    [color=var(--color-prettylights-syntax-string)]'user-agent'[/color]: [color=var(--color-prettylights-syntax-string)]'********************'[/color],[/color]

[color=var(--color-fg-default)]}[/color]




[color=var(--color-fg-default)]data [color=var(--color-prettylights-syntax-constant)]=[/color] {[/color]

[color=var(--color-fg-default)]    [color=var(--color-prettylights-syntax-string)]'Token'[/color]: [color=var(--color-prettylights-syntax-string)]'******************************'[/color],[/color]

[color=var(--color-fg-default)]    [color=var(--color-prettylights-syntax-string)]'login'[/color]: [color=var(--color-prettylights-syntax-string)]'*********************************'[/color],[/color]

[color=var(--color-fg-default)]    [color=var(--color-prettylights-syntax-string)]'password'[/color]: [color=var(--color-prettylights-syntax-string)]'******************************'[/color],[/color]

[color=var(--color-fg-default)]    [color=var(--color-prettylights-syntax-string)]'remember'[/color]: [color=var(--color-prettylights-syntax-string)]'1'[/color],[/color]

[color=var(--color-fg-default)]    [color=var(--color-prettylights-syntax-string)]'Redirect'[/color]: [color=var(--color-prettylights-syntax-string)]'https://***************.com/'[/color],[/color]

[color=var(--color-fg-default)]}
[/color]
[/color]

bunları post yapıyorum bana gelen çıktı "**************************|***************************************|********************************|" bu uzunlukta bir response bu uzunlukta falan bu response u print ettiriyorum PYQT5 arayüze

kopyala yapıştır yaptım site color flaan ekledi
Ara
Cevapla
#4
kod eklerken "kod ekle" veya python kısmına yapıştırın
Ara
Cevapla
#5
Yorum yazdığınız alanın hemen üstündeki butonlardan bulabilirsiniz
Ara
Cevapla
#6
dm den source kodunu atsam yardımcı olsanız bende emeğinizin karşılığını versem hocam size uygun olurmu benim için önemli bir source teknik olarak çok sağlam olmasad fikir olarak sağlam
Ara
Cevapla
#7
Başkasının da böyle bir sıkıntısı olursa forumda cevabını ve izlediğimiz yolları bulmasını isteriz.

Kodunuzun sadece istek atan kısmını pyqt vs gibi ek şeyleri dahil etmeden en basit şekilde bir koda dönüştürüp requests ile istediğiniz kadar istek atabiliyor musunuz onu deneyin bence. Eğer requests'in gerçekten de bu konuda yavaş olduğu kanısına varırsanız aiohttp kullanın. 
Aiohttp ile çözülür diye düşünüyorum.

Yine de olmazsa buradayım, yardımcı olurum Smile
Ara
Cevapla
#8
size özelden source u atsam baksanız sorun çözülürse ben sizin yaptığınız değişikliklere göre buraya bir gidiş yolu yazsam bu sorunu yaşayan diğer arkadaşlarda sorunu çözülse hemde benim source kodum public olmamış olur ricamdır
Ara
Cevapla
#9
Söylediklerim sizin için işe yaramadıysa en sade ve en az hassas bilgi içerecek şekilde beraber bakalım.
Ara
Cevapla
#10
uzun uğraşlar sonucu çözdüm gibi hocam gene hata alırsam burda paylaşayım çok teşekkürler
Ara
Cevapla

{lang: 'en'}


Konu ile Alakalı Benzer Konular
Konular Yazar Yorumlar Okunma Son Yorum
  15gb .myd uzantılı dosya python ile okutma perry 1 1,390 27-11-2022, Saat: 17:59
Son Yorum: perry
Question Python Dili Soru & Cevap gecemor 1,493 1,094,119 08-11-2022, Saat: 11:18
Son Yorum: Antonyobanderas
  YENİ Python Pyqt5 memory leak sorunu perry 3 1,644 28-09-2022, Saat: 11:33
Son Yorum: gecemor
  YENİ PYTHON ads approval CaglarDevv 2 1,633 04-07-2022, Saat: 01:23
Son Yorum: CaglarDevv
  python konusunda yardıma ihtiyacım var $cr!pt HUB 3 1,123 15-06-2022, Saat: 18:11
Son Yorum: CaglarDevv

Hızlı Menü:


Konuyu Okuyanlar: 1 Ziyaretçi
Change Theme