Andladim.

Usta şimdi bişey sorcam bu beatifulsoup kütüphanesi sadece parsing mi yapıyo?

@mustafa58 mesela benim @Mehmet Zerey 'in yaptığı koddaki düzenleme yöntemi jiletle almak gibi, tek seferde pürüzsüz traş. Ama onun yaptığı bana makine ile almak gibi geldi, sıfırlamak için defalarca abandıkça abanman gerekiyo

piyasada birçok HTML parser dolaştığından sordum

(20-05-2017, Saat: 11:24)mustafa58 Nickli Kullanıcıdan Alıntı:  Usta şimdi bişey sorcam bu beatifulsoup kütüphanesi sadece parsing mi yapıyo?

Valla pek ihtiyaç duyup da kullandığım bir şey değil, o yüzden detaylı kullanıma hakim değilim, özelliklerini incelemek, araştırmak gerek.

Doğru diyorsun onunki baltayla saç traşına benzemiş ikiside iş görür ama seninki daha kolay maintain edilebilir ve daha anlaşılır..

---

Ben şahsen hiç kütüphanelere hakim değilim nerde ne kullanırım onu araştırıyorum ona göre bi çözüm yapıp geçiyorum her defasında

---

Ha usta sana demeyi unuttum, bu sene hesaplama kuramı dersi alıyorum, bu regular expression olayı turing makinelerinden öncesinde de varmış

(20-05-2017, Saat: 11:36)mustafa58 Nickli Kullanıcıdan Alıntı:  Doğru diyorsun onunki baltayla saç traşına benzemiş ikiside iş görür ama seninki daha kolay maintain edilebilir ve daha anlaşılır..

ya tabi şaka yapıyorum @Mehmet Zerey yanlış anlamasın, o da kendi bildiği mevcut yöntemlerle çözüm bulmuş. Yaptığı şey de ince işçilik aslında, her ne kadar daha keskin yöntemlerle bu iş yapılabilecek olsa da onun bu uğraşı mutlaka bir şeyler katmıştır kendisine, kaldı ki zaten bu iş böyle olmasa ilerleyemez.

(19-05-2017, Saat: 23:57)gecemor Nickli Kullanıcıdan Alıntı:  @Mehmet Zerey senin yaptığın kodu biraz düzenledim, koca bir kaynağın bütün harflerini for ile döndürüp istenmeyen tüyleri cımbızla alır gibi replace ile uğraşmana gönlüm razı değil Bir kod eğer yaptığı işleme göre ne kadar kısa olursa o kadar verimli ve amacına ulaşmış olur. Tabi işini bir şekilde halletmen de azımsanacak bir şey değil ama yavaş yavaş diğer metodları da öğrenmen lazım, yoksa replace ile ömür geçmez

PHP Kod:

import requests
from bs4 import BeautifulSoup
import json

url = "http://www.gatherproxy.com/proxylist/country/?c=France"
response = requests.get(url).content
soup = BeautifulSoup(response,"html.parser")
temizle = soup.find_all("script",{"type":"text/javascript"})
prx = temizle[4:-3]
kd = str(prx)
bos = ""

for i in kd.split("gp.insertPrx(")[1:]:
    ip = json.loads(i.split(")")[0])["PROXY_IP"]
    port = json.loads(i.split(")")[0])["PROXY_PORT"]
    print ip, int(port, 16) 


abi teşekkürler o kadar uzun yazdım 5 satır kodla çözdün

---

Ben acemiyim daha python da kütüğhaneleri tam olarak bilmiyorum şuan öğrendim gecemor abi sağ olsun bu iyliğini unutmam en az 2 haftadır silip baştan yazdım o uzun kodu

Ee haliyle tek replace metodu ile kim olsaydı uğraşırdı. O zaman ben biraz anlaman için biraz anlatayım kodun içeriğini (bu arada fazladan bos="" yazan satır kalmış seninkinden, şimdi gözüme çarptı)

split metodunu belki biliyosundur, bir karakter dizisini belirlediğimiz bir karaktere bölerek liste yapar. Örneğin;

>>>karakter_dizisi = "ben python öğreniyorum"
>>>liste = karakter_dizisi.split(" ")
>>>print liste
['ben', 'python', 'öğreniyorum']
>>>print liste[0]
'ben'
yukarıdaki işlemde karakter dizisini boşluklara böldük ve bu listenin birinci elemanı "ben" olacaktır. Senin kodda bs4 ile html ayrıştırdıktan sonra

gp.insertPrx({'PROXY_IP':'234.234.234.234', .......})

şeklinde parantez içinde json verisi verilmiş, bunu pythonda sözlüklerin kullanımında da bilen bilir. Yani eğer sadece {'PRO......} şeklinde verilen json verisine ulaşırsak bunun içinden ['PROXY_IP'] yazarak karşılığındaki ip numarasına erişebiliriz. Ayrıntılı kullanım için json veya python sözlüklerin kullanımına bakabilirsin. Ben de bu kısmı ele geçirmek için

for i in kd.split("gp.insertPrx(")[1:]:
#burda 'gp.insertPrx(' kısmını aldım ve listenin birinci elemanını [1:] ile es geçtim daha sonra parantezin diğer ucundan geri gelmemiz gerekiyodu
onu da tekrar i.split(")")[0] ile yaptım ve geriye sadece json verisi kaldı, bunu da işlemeye hazır hale getirebilmek için json.loads() metodunu kullandım.

Umarım faydalı olur, ama senin de bildiğin gibi bu sadece gathet proxy sitesi için geçerli, her site kaynağı farklı olacağından kaynağı incelemek gerekir. Tabi genel olarak sitelerde proxy ve portlar daha düzenli bir şekilde bulunur, eğer gather da port şifrelenmemiş olsaydı yapmamız gereken sadece şu regexi kullanmak olacaktı

'(\d+\.\d+\.\d+\.\d+).*?(\d{2,5})'

birinci parantez ipleri yakalar, aradaki ".*?" ifadesi herhangi bir karakter anlamına gelir, ikinci parantez ise 2 veya 5 basamaklı olan sayıları ifade eder, bu da o ipten sonra gelen portu yakalar.

Örnek kullanım;

import requests
import re

regex = '(\d+\.\d+\.\d+\.\d+).*?(\d{2,5})'

kaynak = requests.get("http://www.sitenin-adresi?.com").content

proxyler = re.findall(regex, kaynak)

print(proxyler)
#veya for döngüsüne sokarak işlem yapılır

for i in proxyler:
.... ip = i[0]
.... port = i[1]
.....print(ip, port)