ITDCPD 📘 Lecture 12: Web Scraping & APIs

, , , , ,


 

ITDarasgah Certified Python Developer

📘 Lecture 12: Web Scraping & APIs

📌 لیکچر کے مقاصد

اس لیکچر کے اختتام پر آپ:

  • Web Scraping کا بنیادی تصور سمجھیں گے

  • Python کے ذریعے ویب سائٹ سے data حاصل کر سکیں گے

  • APIs کیا ہوتی ہیں اور کیسے استعمال کی جاتی ہیں، یہ جانیں گے

  • JSON data کو handle کر سکیں گے

🔹 Web Scraping کیا ہے؟

Web Scraping سے مراد کسی ویب سائٹ سے program کے ذریعے data حاصل کرنا ہے۔

📌 استعمال:

  • Price monitoring

  • News aggregation

  • Job listings collection

  • Research data gathering

🔹 Required Libraries

Install (ایک بار)

pip install requests
pip install beautifulsoup4

🔹 requests Library سے ویب پیج حاصل کرنا

import requests

url = "https://example.com"
response = requests.get(url)

print(response.status_code)
print(response.text[:200])

📌 status_code = 200 مطلب request کامیاب رہی۔

🔹 BeautifulSoup سے HTML Parse کرنا

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, "html.parser")
print(soup.title.text)

🔹 مخصوص Elements نکالنا

headings = soup.find_all("h2")

for h in headings:
    print(h.text)

🔹 APIs کیا ہوتی ہیں؟

API (Application Programming Interface) ایک ایسا ذریعہ ہے جس سے ایک program دوسرے system سے structured data حاصل کرتا ہے۔

📌 زیادہ تر APIs JSON format میں data دیتی ہیں۔

🔹 API سے JSON Data حاصل کرنا

import requests

url = "https://api.example.com/data"
response = requests.get(url)

data = response.json()
print(data)

🔹 JSON Data Handle کرنا

print(data["name"])
print(data.get("age"))

🔹 Real-world Use Cases

  • Weather apps

  • Cryptocurrency trackers

  • Social media analytics

  • Automation bots

⚠️ Ethical Considerations

  • ہمیشہ website کی Terms of Service دیکھیں

  • robots.txt چیک کریں

  • Server پر زیادہ requests نہ بھیجیں

  • Legal اور ethical boundaries کا خیال رکھیں

📝 Assignment – Lecture 12

🔸 Mini Project: Simple News Scraper

Requirements:

  • کسی news website سے headlines نکالیں

  • انہیں list میں store کریں

  • CSV file میں save کریں

📌 Bonus:

  • API استعمال کر کے weather data حاصل کریں

📌 Assignment فورم پر code block میں پوسٹ کریں۔

💬 Discussion Prompt

  • Web Scraping اور API میں بنیادی فرق کیا ہے؟

  • Scraping کب avoid کرنی چاہیے؟

📌 اگلا لیکچر: Introduction to Web Development with Flask

-
Tags: , , , , ,

کوئی تبصرے نہیں:

ایک تبصرہ شائع کریں

سبسکرائب کریں در: تبصرے شائع کریں (Atom)