Hướng dẫn xây dựng bot Scrape LinkedIn không cần API trả phí với n8n

Question

Chia sẻ bởi Bart Slodyczka

Tìm kiếm và khai thác danh sách khách hàng tiềm năng trên LinkedIn là nhu cầu cốt lõi của nhiều chuyên gia bán hàng và marketing. Tuy nhiên, các giải pháp truyền thống thường yêu cầu API trả phí đắt đỏ của LinkedIn hoặc các công cụ của bên thứ ba với nhiều hạn chế.

Trong bài viết này, tôi sẽ chia sẻ một giải pháp mạnh mẽ và linh hoạt hơn: xây dựng một quy trình tự động trên n8n để scrape dữ liệu LinkedIn. Điểm đặc biệt của hệ thống này là nó được kích hoạt theo yêu cầu thông qua một giao diện chat, cho phép bạn ra lệnh và nhận về danh sách khách hàng tiềm năng được cập nhật trực tiếp vào Google Sheets mà không cần dùng đến API của LinkedIn.

Tổng Quan Giải Pháp Scrape LinkedIn Tự Động

Về bản chất, thay vì truy cập trực tiếp vào LinkedIn, chúng ta sẽ tận dụng sức mạnh của Google Custom Search API để thực hiện các truy vấn tìm kiếm nâng cao, chỉ nhắm vào các trang cá nhân trên LinkedIn. Quy trình làm việc trên n8n sẽ tự động hóa toàn bộ các bước sau:

Kích hoạt theo yêu cầu: Gửi một tin nhắn để bắt đầu quá trình tìm kiếm.
Tìm kiếm trên Google: Tự động gửi truy vấn tới Google để tìm các hồ sơ LinkedIn khớp với tiêu chí (ví dụ: CEO trong ngành ô tô tại Mỹ).
Trích xuất dữ liệu: Phân tích kết quả trả về để lấy các thông tin quan trọng như Tên, Chức danh, Link hồ sơ, Mô tả ngắn (snippet), và ảnh đại diện.
Tự động lặp (Phân trang): Hệ thống tự động lặp lại quy trình tìm kiếm để lấy tất cả các trang kết quả, cho đến khi hết dữ liệu hoặc đạt đến giới hạn 100 kết quả của Google API.
Lưu trữ vào Google Sheets: Toàn bộ dữ liệu được trích xuất sẽ được ghi tự động vào một file Google Sheets, tạo ra một danh sách khách hàng tiềm năng sạch sẽ và có cấu trúc.

Với gói miễn phí của Google Custom Search API, bạn có thể thực hiện 100 lượt tìm kiếm mỗi ngày, và mỗi lượt tìm kiếm trả về tới 10 kết quả. Điều này đồng nghĩa với việc bạn có khả năng thu thập tới 1.000 khách hàng tiềm năng mỗi ngày mà không tốn chi phí.

Hướng Dẫn Chi Tiết Xây Dựng Workflow trên n8n

Download workflow (n8n): https://romhub.io/n8n/Redacted_LinkedIn_Scraper

Để xây dựng hệ thống này, bạn cần chuẩn bị API của Google và sau đó thiết lập quy trình làm việc trên n8n.

Bước 1: Thiết Lập Google Custom Search API (Miễn Phí)

Đây là bước nền tảng để có thể truy vấn dữ liệu từ Google.

Vào Google Cloud Console: Tạo một dự án mới và bật Custom Search API cho dự án đó.
Tạo API Key: Trong mục "Credentials", tạo một API Key mới và lưu lại chuỗi ký tự này.
Tạo Custom Search Engine (CSE):
- Truy cập trang Programmable Search Engine của Google.
- Tạo một máy tìm kiếm mới, chọn "Search the entire web".
- Sau khi tạo xong, sao chép lại giá trị Search engine ID (cx).

Bạn cần lưu lại hai thông tin quan trọng: API Key và Search engine ID (cx).

Bước 2: Xây Dựng Workflow Tự Động Hóa Scrape LinkedIn trên n8n

Bây giờ, hãy cùng xây dựng chuỗi các bước (nodes) trên n8n để tự động hóa hoàn toàn quy trình.

1. Kích Hoạt Workflow Bằng Tin Nhắn (Chat Trigger)

Quy trình bắt đầu với node When chat message received. Điều này biến workflow của bạn thành một "con bot" có thể được ra lệnh. Bạn có thể thiết lập để khi nhận được một lệnh cụ thể (ví dụ: "/scrape"), nó sẽ bắt đầu chạy.

2. Thiết Lập Tham Số Ban Đầu (Set Fields)

Node Set Fields được dùng để khởi tạo các biến cần thiết cho vòng lặp, ví dụ như currentStartIndex với giá trị là 1 để bắt đầu từ trang kết quả đầu tiên.

3. Gửi Yêu Cầu Tìm Kiếm Đến Google (HTTP Request)

Đây là node cốt lõi thực hiện việc tìm kiếm.

Sử dụng node HTTP Request với URL là https://www.googleapis.com/customsearch/v1.
Trong phần Query Parameters, bạn cần điền các thông số:
- key: API Key bạn đã tạo.
- cx: Search Engine ID (cx) của bạn.
- q: Chuỗi truy vấn tìm kiếm. Đây là nơi bạn định nghĩa đối tượng muốn tìm. Ví dụ trong workflow mẫu là: ceo automotive united states site:linkedin.com/in. Bạn có thể thay đổi truy vấn này một cách linh hoạt, ví dụ: "Marketing Manager" "Vietnam" site:linkedin.com/in.
- start: Chỉ số bắt đầu của trang kết quả. Giá trị này sẽ được cập nhật tự động trong mỗi vòng lặp để lấy trang tiếp theo.

4. Trích Xuất và Chuẩn Hóa Dữ Liệu (Code)

Sau khi nhận được phản hồi từ Google, node Code (với tên Extract Results) sẽ thực hiện các nhiệm vụ sau:

Phân tích dữ liệu JSON trả về.
Tách chuỗi title để lấy ra name và title (chức danh) một cách thông minh.
Trích xuất các trường dữ liệu quan trọng khác như link, snippet, và image.
Kiểm tra xem còn trang kết quả tiếp theo hay không và lấy startIndex cho lần lặp kế tiếp.

5. Tạm Dừng Giữa Các Lần Gọi (Wait)

Để tránh bị giới hạn tần suất yêu cầu (rate limiting) từ Google, workflow bao gồm một node Wait để tạo một khoảng nghỉ ngắn giữa các lần gọi API.

6. Thêm Dữ Liệu vào Google Sheets (Add to Google)

Node Google Sheets sẽ kết nối với file Google Sheets của bạn và thực hiện thao tác "Append" (nối tiếp). Mỗi hồ sơ được trích xuất sẽ được ghi thành một hàng mới, với các cột tương ứng như tên, chức danh, link, snippet....

7. Xử Lý Phân Trang Tự Động (Pagination & If)

Đây là cơ chế giúp workflow tự động lấy nhiều trang kết quả.

Sau khi ghi dữ liệu vào Sheets, một node Code (Pagination) và một node If (Pagination Check) sẽ phối hợp để kiểm tra xem API của Google có trả về thông tin cho trang tiếp theo không (hasMoreResults).
Nếu có, vòng lặp sẽ quay lại bước Search Google với chỉ số start đã được cập nhật, và quy trình tiếp tục cho đến khi không còn kết quả nào nữa.

Lưu Ý Về Bảo Mật và Tuân Thủ

Dù phương pháp này không vi phạm trực tiếp điều khoản API của LinkedIn vì nó hoạt động thông qua Google Search, bạn vẫn cần sử dụng dữ liệu một cách có trách nhiệm:

Không sử dụng dữ liệu cho mục đích spam.
Tôn trọng quyền riêng tư của các cá nhân có trong danh sách.
Không bán lại dữ liệu đã thu thập được.

Kết Luận

Giải pháp scrape LinkedIn bằng n8n và Google Custom Search API là một phương pháp cực kỳ hiệu quả, tiết kiệm chi phí và linh hoạt. Thay vì một quy trình thủ công tẻ nhạt, bạn có thể xây dựng một "bot" tự động, được kích hoạt theo yêu cầu để thu thập hàng ngàn khách hàng tiềm năng chất lượng mỗi tuần.

Bằng cách làm theo hướng dẫn trên, bạn có thể thiết lập một hệ thống mạnh mẽ, chỉ cần đầu tư thời gian cấu hình một lần và sau đó tận hưởng thành quả mà nó mang lại. Chúc bạn triển khai thành công!