انالیز تکست

یک فایل متنی هست که از تعداد کم تا حد اکثر 4 میلیون لاین داره ( فایل اول) یک فایل دیگه هست تمام کلماتی که با حروف انگلیسی میشه ساخت از 4 حرف تا 6 حرف توش وجود داره بی معنی و با معنی ( فایل دوم) کاری که نرم افزار باید کنه با سرعت بالا و ترید تمام لاین های فایل دوم رو توی فایل اول برسی کنه که اگر هر کرومش 20 بار مثلا ( این عدد هم خودم مشخص کنم ) تکرار شده بود اون رو توی خروجی بیاره و بهم از تمام لاین هایی که توی فایل یک تکرار شده بودن یک فایل تکست بده ( اهمیت در این برنامه اینه که سرعت داشته باشه و ترید بخوره برنامه لاینی رو رد نده و بتونه این حجم زیاد فایل هارو یجوری هندل کنه چون فایله دوم حدود 4 5 گیگ فقط حجم فایلشه ) دیگه حالا خودتون هر ایده ای دارید برای انجام این کار من فقط نتیجه کار برام مهمه