[کد مثال] - خراش دادن داده ها از forexfactory. com

در حال حاضر آنها برخی از حفاظت های ابری را پیاده سازی کرده اند، بنابراین فقط beautifulsouop نمی تواند داده ها را جمع آوری کند. برای این کار باید از سلنیوم استفاده کنیم.

کد کار مثال:

واردات تصادفی سلنیوم از سلنیوم وارد کردن webdriver از selenium. webdriver. chrome. options واردات گزینه ها از selenium. webdriver. common. by import By def create_driver(): user_agent_list = [ 'Mozilla/5. 0 (Windows NT 10. 0; Win64; AppleWebK4)/537. 36 (KHTML، مانند Gecko) Chrome/92. 0. 4515. 131 Safari/537. 36، 'Mozilla/5. 0 (Windows NT 10. 0; Win64; x64; rv:90. 0) Gecko/20100105' Firefox. Mollash/90. cin; Intel Mac OS X 11. 5; rv:90. 0) Gecko/20100101 Firefox/90. 0، «Mozilla/5. 0 (Windows NT 10. 0) AppleWebKit/537. 36 (KHTML، مانند Gecko) Chrome/92. 0. 4515. 6. 150.(Macintosh؛ Intel Mac OS X 11_5_1) AppleWebKit/537. 36 (KHTML، مانند Gecko) Chrome/92. 0. 4515. 131 Safari/537. 36'، 'Mozilla/5. 0 (X11; Ubuntu; Linux x86_64; 0 Gecko/Gecko01/01/01/01)"--no-sandbox") browser_options. add_argument("--headless") browser_options. add_argument("start-maximized") browser_options. add_argument("window-size=1900, 1080") browser_options. add_argument("start-maximized")") browser_options. add_argument("--disable-software-rasterizer") browser_options. add_argument("--disable-dev-shm-usage") browser_options. add_argument(f'user-agent=') درایور = webdriver. Chrome(options=browser_options, service_args=["--verbose", "--log-path=test. log"]) درایور برگشتی def parse_data(driver, url): driver. get(url) data_table = driver. find_element(By. CLASS_NAME، "calendar__table") value_list = [] برای ردیف در data_table. find_elements(By. TAG_NAME، "tr"): row_data = list(filter(هیچکدام، [td. text برای td در row. find_elements(By. TAG_NAME، "td")])) اگر row_data: value_list. append(row_data) درایور value_list را برگرداند = create_driver() url = 'https://www. forexfactory. com/calendar? day=aug26. 2021' value_list = parse_data(driver=driver), url=url) برای مقدار در value_list: اگر ' 

' در مقدار[0]: date_str = value. pop(0). replace('

', ' - ') print(f'Date: ') print(ارزش) 

خروجی:

تاریخ: پنجشنبه-26 اوت ['2:00 AM' ، 'EUR' ، 'آب و هوای مصرف کننده GFK آلمانی' ، '-1. 2' ، '-0. 5' ، '-0. 4'] ['4:00 AM' ، 'EUR' ،"M3 Money Supply Y/Y" ، "7. 6 ٪" ، "7. 6 ٪" ، "8. 3 ٪"] ["EUR" ، "وام های خصوصی y/y" ، "4. 2 ٪" ، "4. 1 ٪" ، "4. 0 ٪'] [' 7:30 AM '،' EUR '،' حساب های جلسه سیاست پولی ECB '] [' 8:30 AM '،' USD '،' Prelim GDP Q/Q '،' 6. 6 ٪ '،' 6. 7 ٪ '،"6. 5 ٪"] ["USD" ، "ادعاهای بیکاری" ، "353K" ، "345K" ، "349K"] ['USD' ، 'Prelim Price Price q/Q' ، '6. 1 ٪' ، '6. 0 ٪'،' 6. 0 ٪ '] ['10: 30 صبح' ، 'USD' ، 'ذخیره گاز طبیعی' ، '29b' ، '40b' ، '46b'] ['روز 1' ، 'All' ، 'Symposium Jackson Hole'] [' 5:00 بعد از ظهر '،' USD '،' رئیس جمهور بایدن صحبت می کند '] [' 7:30 بعد از ظهر '،' JPY '،' Tokyo Core CPI Y/Y '،' 0. 0 ٪ '،' -0. 1 ٪ '،'0. 1 ٪'] ['9:30 بعد از ظهر' ، 'AUD' ، 'فروش خرده فروشی m/m' ، '-2. 7 ٪' ، '-2. 6 ٪' ، '-1. 8 ٪']

SABIL 3762 

همانطور که این سوال را با سلنیوم برچسب گذاری کرده اید ، این پاسخ به سلنیوم متکی است. من برای سهولت از مدیر WebDriver استفاده می کنم.

از WebDriver واردات سلنیوم از selenium. webdriver. common. by واردات توسط webdriver_manager. chrome واردات chromedrivermanager درایور = webdriver. chrome (chromedrivermanager (). نصب ()) سعی کنید: driver. get ("http://www. preatexfaction. com/calendar. php؟day=nov18. 2016 ") # جدول جدول = درایور را دریافت کنید.): # درک لیست برای به دست آوردن داده های هر سلول و فیلتر کردن سلولهای خالی Row_Data = لیست (فیلتر (هیچکدام ، [td. text for td in row. find_elements (by. tag_name ، "td")))) اگر row_data == [[]: ادامه چاپ (row_data) به جز استثناء به عنوان e: چاپ (e) سرانجام: driver. quit () 

این در حال حاضر چاپ می شود:

['fri nnov 18' ، '2:00 am' ، 'ure' ، 'آلمانی ppi m/m' ، '0. 7 ٪' ، '0. 3 ٪' ، '-0. 2 ٪'] ['3:30 am' ، 'یورو ، "رئیس جمهور ECB Draghi صحبت می کند"] ['4:00 AM' ، 'EUR' ، 'حساب جاری' ، '25 . 3b '، '31 . 3b' ، '29 . 1b '] [' 4:10 AM '،' GBP"،" عضو MPC Broadbent Speaks "] ['5:30 AM' ، 'CHF' ، 'عضو هیئت مدیره Gov Maechler صحبت می کند"] ["EUR" ، "Weidmann رئیس جمهور Buba آلمانی"] [' USD '،' عضو FOMC BullardSpeaks '] [' 8:30 AM '،' CAD '،' CORE CPI M/M '،' 0. 2 ٪ '،' 0. 3 ٪ '،' 0. 2 ٪ '] [' CAD '،' CPI M/M '،'0. 2 ٪ '،' 0. 2 ٪ '،' 0. 1 ٪ '] [' 9:30 AM '،' USD '،' عضو FOMC Dudley صحبت می کند '] [' USD '، "عضو FOMC جورج صحبت می کند"] ['10: 00am'، "USD" ، "CB Leading Index M/M" ، "0. 1 ٪" ، "0. 1 ٪" ، "0. 2 ٪"] ['9:45 PM' ، 'USD' ، 'FOMC عضو پاول صحبت می کند "]

داده های چاپ شده فقط نشان می دهد که می تواند داده ها را استخراج کند ، شما باید همانطور که می بینید متناسب باشد ، آن را تغییر داده و قالب بندی کنید.

لوکان 2647

• اعتبار به: stackoverflow. com
• پرس و جو مرتبط
• پایتون 3. 5 |داده های خراش از وب سایت
• ضبط داده ها از لیست بازگرداندن مقدار حداکثر و داده های مرتبط
• چگونه می توان از ممنوع شدن در هنگام خراش داده ها از یک سایت مبتنی بر ورود به سیستم جلوگیری کرد؟
• خراش داده ها از forexfactory. com
• خراش داده ها از جداول وابسته به نقشه تعاملی
• خراش داده های HTML از یک وب سایت با
• برچسب ها
• نحوه جلوگیری از خروج اسکریپت فیثون هنگام خطایی هنگام خراش داده از وب سایت
• داده های جدول خراش از مرجع Bball در پایتون
• خراش: داده ها را از نمودار استخراج کنید
• HTTP 403 ممنوع هنگام نمایش داده ها از وب سایت با استفاده از پایتون و BS4 نشان می دهد
• ضبط داده ها از صفحه وب با درخواست های پایتون
• داده های خراش از صفحه . aspx
• موضوع برای سرعت بخشیدن به داده های خراش از لیست مشخصی از وب سایت ها
• داده های خراش وب از Glassdoor با استفاده از سلنیوم
• پس از ضبط داده ها از یک صفحه وب ، نمی توان برخی از خروجی های سفارشی را تولید کرد
• اگر این برچسب در Python Scraping وجود نداشته باشد ، چگونه می توان داده ها را از یک برچسب دریافت کرد.
• داده های اشتباه هنگام خراش دادن متن خاص از عناصر جدول خاص برگردانده می شوند
• داده های خراش از وب سایت AJAX
• دریافت داده های خاص از HTML ، Python ، Web Scraping
• داده های ضبط شده از فرم AJAX با استفاده از SCRAPY
• خراش وب برای دریافت اطلاعات از وب سایت
• دسترسی به داده های پست از WSGI
• AIOHTTP: چگونه برای بازیابی داده ها (بدنه) در سرور AIOHTTP از درخواست ها.
• استخراج داده ها از انواع تایپ کردن
• پایتون داده های جریان را از API درخواست می کند
• چگونه می توان داده ها را با استفاده از Python OpenPyXL برای اکسل فایل از یک ردیف مشخص ضمیمه کرد؟
• نمایش تصویری با Pygobject و Python 3 از داده های حافظه
• کاراکترهای نامعتبر را از داده های نگهدارنده در جرقه RDD پاک کنید
• دریافت جریان داده از یک فایل زیپ شده در یک سطل S3 با استفاده از Boto3 Lib و AWS Lambda نشسته است
• چگونه می توان از جدول Pretty در پایتون برای چاپ داده ها از لیست های مختلف استفاده کرد؟
• خواندن داده ها از ذخیره ابری از طریق توابع ابر
• وارد کردن داده ها از یک فایل اکسل با استفاده از Python به SQL Server
• Healpy: از داده ها تا نقشه HealPix
• قاب داده را از یک پرونده نوت بوک Jupyter به دیگری وارد کنید
• داده های باینری خروجی از CGI در پایتون 3
• "pyarrow. lib. arrowinvalid: ریخته گری از timestamp [ns] به زمان بندی [MS] داده ها را از دست می دهد" هنگام ارسال داده ها به bigQuery بدون طرحواره
• مشکل کردن همه کتابها از یک بخش بدون بارگذاری بارگذاری سخت
• Python (OpenPyXL): داده ها را از یک پرونده اکسل به پرونده دیگر (پرونده الگوی) قرار دهید و ضمن حفظ الگوی آن را با نام دیگری ذخیره کنید
• داده ها را از دو لیست برای DICT با حلقه وارد کنید
• داده های تصویر باینری را از یک بوم Matplotlib دریافت می کنید؟
• Python 3 داده های پرونده های بزرگی را که مرتب شده اند بپیوندند
• چگونه می توانم از یک موضوع پایتون به داده ها دسترسی پیدا کنم
• انتشار داده های پردازش از پورت سریال ، هنگام نمایش آن در جعبه متن tkinter خوانده شده است
• Python 3 - نوشتن داده ها از Struct. unpack به JSON بدون بازسازی مجدد فردی
• آیا راهی برای پخش مستقیم داده ها از درخواست Python به Minio Bucket وجود دارد؟
• چگونه می توان داده ها را از CSV به یک شی پایتون دریافت کرد
• داده ها را از لیست با برخی شرایط استخراج کنید
• چگونه می توانم از یک رویداد جریان داده AWS Kinesis به داده ها دسترسی پیدا کنم؟

چگونه می توان داده ها را به Notebook Jupyter VM از Google Cloud بارگیری کرد؟

• چگونه می توان داده ها را از پنجره گفتگو به MainWindow در PYQT بازیابی کرد؟
• پرس و جو بیشتر از همان برچسب
• Enchant. Errors. Error: به Pyenchant-Python منتقل نکنید
• چگونه می توان یک رویداد را از یک موضوع دیگر به یک کار async منتقل کرد؟
• چگونه کلمه ای را که شامل کاراکترهای خاص از دستور ورودی است ، جستجو کنم؟
• چگونه می توان یک QAPPLICATION را از بین برد و سپس بدون خروج از اسکریپت پایتون ، یک مورد جدید را اجرا کرد؟
• چگونه می توان عملکرد Python Ididentifer () را در Python 2. 6 بدست آورد؟
• چگونه می توانم مقدار یک گروه را در یک DataFrame ترسیم کنم؟
• چگونه می توانم به درستی از این روش رمزگذاری تقلید کنم تا مقدار مناسبی را برای قسمت رمزگذاری شده ایجاد کند؟
• ویژگی پایتون ترکیبی از دو شیء
• چگونه می توان رشته را در اکسل جایگزین کرد و رشته کامل سلول را بررسی کرد؟
• چگونه می توان خروجی یک اسکریپت را که یک اسکریپت پایتون را با استفاده از زیر پردازش حلقه می کند ، ذخیره کرد؟
• هیچ ماژولی به نام "tkinter" (python3. 8) در ویندوز
• چگونه می توانم عملی را انجام دهم که به طور موازی برای هر مورد در یک دنباله برنگردد؟
• چرا این کد برای معکوس کردن یک شماره به عنوان خروجی "Inf" را می دهد؟
• Setuptools: به جای DIR اصلی ، تست های مربوط به ساخت را انجام دهید
• Tkinter گزینه های تغییر یافته را بر اساس سایر ورودی ها تغییر می دهد
• urllib. Request هدر نوع محتوا را حذف کنید
• پایتون - اضافه کردن نظرات به یک رشته سه گانه
• سقوط Qt. DecoraryRole هنگام تلاش برای اضافه کردن نماد به QTableView
• tkinter cant emojis را از ورودی رمزگشایی می کند
• تشخیص رویدادهای صفحه کلید در PYQT4
• تلاش برای تغییر درج SQL به PymysQL از MySQLDB در پایتون
• ورود زمان فعلی به یک پایگاه داده SQLite
• شناور گرد به 2 رقم پس از نقطه در پایتون
• فقط مقدار یک اصطلاح فرهنگ لغت را برای یک کلید خاص در پایتون چاپ کنید
• نحوه استفاده از DBU در Python Daemon قبل از ورود به اوبونتو
• رویداد MouseButtondown پاسخ نمی دهد [پیگام]
• در ستون DateTime Python NULL NULL امکان پذیر نیست
• من می خواهم دو عدد عدد صحیح را در یک ردیف بگیرم و مبلغ آنها را در Python3 محاسبه کنم
• آیا راهی وجود دارد که بتوانم جلوی سقوط دشمن خود را بگیرم؟
• نحوه محاسبه نمره شبح برای هر خوشه به طور جداگانه در پایتون
• چگونه می توانم با استفاده از پایتون متن خمیده را ترسیم کنم؟تبدیل متن به تصویر خمیده؟
• آیا راهی برای حذف یک شیء در لیست با ارزش وجود دارد؟
• چگونه می توان عملکردی را اعلام کرد که مجموعه ای از شیء را برمی گرداند؟

چگونه می توانم این 2 روال پایتون را همزمان اجرا کنم؟

چگونه می توانم این 2 روال پایتون را همزمان اجرا کنم؟