Web Crawler یا خزشگر با زبان پایتون

یک Web Crawler یا خزشگر نیاز دارم که با زبان پایتون انجام شود و با دادن url یک سایت، بتواند هم کلیه لینک های داخل آن سایت را تشخیص بدهد و هم اگر یک صفحه از آن سایت را بدهم بتواند محتوای آن را به من برگرداند. توجه کنید که سایت مشخصی مد نظر نیست و هر سایتی را که بدهیم باید بتواند این خزش را درست انجام دهد. اگر صفحه بصورت متنی باشد باید محتوا بصورت متنی برگردانده شود و اگر معرفی کالا باشد کلیه مشخصات آن کالا که در آن صفحه وجود دارد بصورت آیتم وار برگرداند مانند نام کالا، قیمت، تعداد، آدرس تصویر، آدرس کالا، دسته بندی کالا و مابقی اطلاعات آن کالا که در آن صفحه وجود دارد شناسایی شده و برگردانده شود. لطفا سورس این برنامه تمیز باشد. همچنین استفاده از کتابخانه های پایتون آزاد می باشد. ** لطفا فقط برنامه نویسان حرفه ای پایتون درخواست بدهند