Tin tức và phân tích của tất cả các thiết bị di động

Làm cách nào để sử dụng proxy với cURL và wget?

Bạn có mệt mỏi với việc chặn quyền truy cập vào một số trang web hoặc dịch vụ nhất định không?

Bạn có muốn bỏ qua những hạn chế này và truy cập nội dung bạn muốn không?

Nếu câu trả lời của bạn là có thì bạn có thể cân nhắc sử dụng proxy thông qua giao diện dòng lệnh bằng công cụ cURL hoặc wget.

Trước tiên, hãy xem chính xác máy chủ proxy là gì và nó hoạt động như thế nào.

Khong biet?

Máy chủ proxy hoạt động như một trung gian giữa thiết bị của bạn (chẳng hạn như máy tính hoặc điện thoại) và Internet.

Khi bạn muốn truy cập một trang web hoặc dịch vụ, yêu cầu của bạn sẽ chuyển đến proxy trước thay vì trực tiếp đến đích.

Sau đó, máy chủ proxy sẽ thay mặt bạn gửi yêu cầu đến máy chủ đích và nhận được phản hồi từ máy chủ đích. Cuối cùng, máy chủ proxy sẽ gửi phản hồi này trở lại thiết bị của bạn.

Nó giống như có một trợ lý cá nhân xử lý tất cả thông tin liên lạc giữa bạn và máy chủ đích.

Nhưng tại sao lại sử dụng proxy?

Vâng, có rất nhiều lý do.

Sử dụng máy chủ proxy có thể giúp bảo vệ quyền riêng tư và tính ẩn danh của bạn. Khi bạn kết nối với một trang web hoặc dịch vụ thông qua máy chủ proxy, địa chỉ IP của bạn sẽ bị ẩn khỏi máy chủ đích. Thay vào đó, máy chủ chỉ nhìn thấy địa chỉ IP của proxy. Điều này có thể khiến các trang web khó theo dõi hoạt động trực tuyến của bạn hơn.

VÀ…

Một lý do khác để sử dụng máy chủ proxy là lọc nội dung. Điều này có thể đặc biệt hữu ích cho các tổ chức muốn kiểm soát hoặc hạn chế quyền truy cập vào một số loại nội dung nhất định.

Máy chủ proxy có thể được định cấu hình để chặn quyền truy cập vào một số trang web nhất định dựa trên các tiêu chí cụ thể, chẳng hạn như từ khóa hoặc danh mục URL. Điều này có thể giúp đảm bảo rằng nhân viên không truy cập các trang web không phù hợp hoặc gây mất tập trung trong giờ làm việc.

Nếu bạn muốn biết sự khác biệt chính giữa proxy và VPN, vui lòng truy cập bài viết này.

Làm cách nào để sử dụng proxy với cURL?

cURL là một công cụ dòng lệnh nguồn mở được thiết kế để truyền dữ liệu giữa các máy chủ, khiến nó trở thành sự lựa chọn của các nhà sản xuất công nghệ ở khắp mọi nơi. Nhờ khả năng tương thích ấn tượng với nhiều giao thức như HTTP, FTP và SMTP.

Nó có thể xử lý ngay cả những tác vụ truyền dữ liệu phức tạp nhất một cách dễ dàng. Ngoài ra, công cụ cải tiến này còn đi kèm với nhiều phương pháp mã hóa an toàn để giúp giữ an toàn cho dữ liệu của bạn trong suốt quá trình truyền.

cURL có sẵn để sử dụng trên hầu hết các hệ điều hành. Nếu bạn thấy rằng nó chưa được cài đặt trên hệ thống của mình, đừng lo lắng – bạn có thể dễ dàng tải xuống theo cách thủ công. Chỉ cần làm theo các bước bên dưới để cài đặt cURL và phát huy hết tiềm năng của nó.

các cửa sổ

  • Tải xuống tệp thực thi Curl từ trang web chính thức.
  • Giải nén tệp zip vào một thư mục trên máy tính của bạn.
  • Thêm đường dẫn thư mục vào biến môi trường PATH của hệ thống.

Hệ điều hành Mac

  • Mở ứng dụng đầu cuối.
  • Cài đặt Homebrew (nếu bạn chưa làm như vậy) bằng cách chạy lệnh sau.
/bin/bash -c "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/HEAD/install.sh)"
  • Bây giờ cài đặt cURL bằng cách chạy lệnh sau.
brew install curl

Linux

cURL được cài đặt theo mặc định trên hầu hết các bản phân phối Linux. Nếu thiếu, bạn sẽ cần cài đặt nó bằng trình quản lý gói dành riêng cho bản phân phối của bạn.

Ví dụ: trên Ubuntu hoặc Debian, bạn có thể cài đặt cURL bằng cách chạy lệnh sau.

sudo apt-get install curl

Trên CentOS hoặc Fedora, bạn có thể sử dụng lệnh bên dưới.

sudo yum install curl

Sau khi cURL được cài đặt, bạn có thể kiểm tra nó bằng cách chạy “curl –version” trong dấu nhắc lệnh/thiết bị đầu cuối.

Hãy đi vào chủ đề chính của chúng ta.

Bạn có thể sử dụng proxy với cURL bằng cách chỉ định proxy và số cổng trong lệnh cURL bằng tùy chọn -x hoặc –proxy.

Đây là cú pháp cơ bản cho cURL sử dụng máy chủ proxy.

curl -x <proxy-server>:<port-number> <url>

Thay thế tên máy chủ hoặc địa chỉ IP của máy chủ proxy, số cổng được máy chủ proxy sử dụng và URL của trang web hoặc điểm cuối API mà bạn muốn truy cập.

Đây là một ví dụ mẫu.

curl -x 5.189.184.6:80  ipinfo.io

Lệnh này gửi yêu cầu đến trang web ipinfo.io thông qua máy chủ proxy tại 5.189.184.6 trên cổng 80. Tôi lấy địa chỉ proxy mẫu này từ danh sách proxy có sẵn công khai. Nếu bạn đang tìm kiếm một địa chỉ proxy tạm thời, vui lòng truy cập trang web này. Hãy tự chịu rủi ro khi thử nó!☢️

Lưu ý rằng đôi khi bạn có thể cần cung cấp thông tin xác thực cho máy chủ proxy, trong trường hợp đó bạn có thể sử dụng “–proxy-user” và “–proxy-password” để bao gồm tên người dùng và mật khẩu của mình. Ví dụ:

curl -x  5.189.184.6:80 --proxy-user username:password  <target-url>

Thay thế “tên người dùng” và “mật khẩu” bằng thông tin xác thực thực tế cho máy chủ proxy.

Kiểm tra kết nối proxy với cURL

Trước khi sử dụng proxy

Tại đây bạn có thể thấy cURL hiển thị địa chỉ và vị trí IP ban đầu của tôi. Vì lý do bảo mật, tôi phải ẩn địa chỉ IP của mình.

Sau khi sử dụng proxy

Ở đây cURL hiển thị địa chỉ proxy thay vì địa chỉ IP ban đầu của tôi.

Làm cách nào để sử dụng proxy với wget?

wget là một tiện ích dòng lệnh để tải xuống các tệp từ Internet. Nó được cài đặt sẵn trên hầu hết các hệ thống Linux, Unix và macOS và cũng có sẵn cho hệ thống Windows.

Để cài đặt wget trên Linux, bạn có thể sử dụng trình quản lý gói của bản phân phối.

Ví dụ: trong Debian hoặc Ubuntu, bạn có thể sử dụng lệnh sau:

sudo apt-get install wget

Trên CentOS hoặc Fedora

sudo yum install wget

Trên macOS, bạn có thể cài đặt wget bằng Homebrew.

brew install wget

Trong hệ thống Windows bạn có thể cài đặt wget bằng cách tải xuống tệp thực thi nhị phân từ trang web chính thức của GNU và thêm nó vào đường dẫn hệ thống của bạn.

Sau khi wget được cài đặt, bạn có thể sử dụng nó để tải xuống các tệp từ dòng lệnh bằng cách chỉ định URL của tệp bạn muốn tải xuống. Ví dụ: để tải xuống tệp có tên “example.zip” từ một trang web, bạn có thể sử dụng lệnh sau:

wget http://example.com/example.zip

Bạn cũng có thể sử dụng các tùy chọn bổ sung để tùy chỉnh quá trình tải xuống, chẳng hạn như chỉ định tên của tệp hoặc thư mục đầu ra, giới hạn tốc độ tải xuống và tiếp tục các quá trình tải xuống bị gián đoạn. Để tìm hiểu thêm về các tùy chọn có sẵn, hãy tham khảo hướng dẫn sử dụng wget bằng cách nhập “man wget” trong terminal.

Chúng ta hãy xem xét kỹ hơn việc thiết lập máy chủ proxy bằng wget này.

Đầu tiên, đặt các biến môi trường cho máy chủ proxy bằng cách chạy lệnh sau trong terminal.

export http_proxy=http://<proxy_server>:<port>
export https_proxy=https://<proxy_server>:<port>

Xác minh rằng máy chủ proxy được cấu hình đúng bằng cách chạy lệnh sau:

wget <target-url>

Thay thế bằng URL của tệp hoặc trang web bạn muốn tải xuống bằng máy chủ proxy. Nếu lệnh tải xuống thành công tệp hoặc trang web, máy chủ proxy được cấu hình đúng. Nếu không thành công, bạn có thể cần kiểm tra cài đặt proxy và thông tin đăng nhập của mình.

(Tùy chọn) Để đặt cài đặt proxy của bạn vĩnh viễn, bạn có thể thêm các biến môi trường vào tệp cấu hình shell của mình, chẳng hạn như ~/.bashrc hoặc ~/.bash_profile. Bạn có thể thêm các dòng sau vào cuối tập tin:

export http_proxy=http://<proxy_server>:<port>
export https_proxy=https://<proxy_server>:<port>

Nếu proxy của bạn yêu cầu xác thực, bạn có thể nhập tên người dùng và mật khẩu của mình vào các biến “http_proxy” và “https_proxy môi trường”.

export http_proxy=http://<username>:<password>@<proxy_server>:<port>
export https_proxy=https://<username>:<password>@<proxy_server>:<port>

Lưu ý: Một số proxy có thể sử dụng sơ đồ giao thức khác, chẳng hạn như tất thay vì “http” hoặc “https”. Trong trường hợp này, bạn cần điều chỉnh lược đồ trong các biến môi trường và URL cho phù hợp.

Kiểm tra kết nối proxy với wget

Trước khi sử dụng proxy

wget hiển thị địa chỉ IP ban đầu của tôi trước khi sử dụng địa chỉ proxy. Vì lý do bảo mật, tôi phải ẩn địa chỉ IP của mình.

Sau khi sử dụng proxy

Tại đây bạn có thể thấy wget cố gắng kết nối với máy chủ proxy trước khi truy cập trang web.

Khắc phục sự cố thường gặp

Việc sử dụng proxy với cURL và wget đôi khi có thể gây ra sự cố. Đừng lo, chúng tôi có một số mẹo khắc phục sự cố phổ biến để giúp bạn quay trở lại đúng hướng!

# 1. Máy chủ proxy không phản hồi

Nếu máy chủ proxy không phản hồi thì có thể nó đã ngừng hoạt động hoặc gặp sự cố. Để tìm hiểu điều gì đang xảy ra, hãy thử làm như sau.

  • Xác minh rằng máy chủ proxy đang chạy bằng cách ping địa chỉ IP của máy chủ.
  • Đảm bảo bạn đã nhập đúng địa chỉ máy chủ proxy và số cổng.
  • Hãy thử sử dụng máy chủ proxy khác để xem sự cố còn tồn tại không.

#2. Kết nối bị từ chối

Ồ, cuộc gọi bị từ chối?

Nó không tốt.

Lỗi này thường chỉ ra rằng máy chủ proxy không chấp nhận kết nối. Dưới đây là một số bước để giải quyết vấn đề này:

  • Trước tiên, hãy kiểm tra xem máy chủ proxy có được định cấu hình để chấp nhận kết nối từ địa chỉ IP hoặc mạng con của bạn hay không.
  • Đảm bảo máy chủ proxy không bị chặn bởi tường lửa hoặc phần mềm chống vi-rút của bạn.
  • Sau đó kiểm tra xem máy chủ proxy có yêu cầu thông tin xác thực hay không và đảm bảo bạn đã nhập đúng thông tin xác thực.

Đừng quên thử máy chủ proxy khác nếu không có mẹo nào trong số này hiệu quả.

#3. Xác minh chứng chỉ SSL/TLS không thành công

xác minh chứng chỉ không thành công?

Có vẻ như đã xảy ra sự cố với chứng chỉ SSL/TLS của máy chủ proxy.

Để giải quyết vấn đề này, hãy thử các bước sau:

  • Kiểm tra chứng chỉ proxy để đảm bảo nó hợp lệ và chưa hết hạn.
  • Nếu chứng chỉ không hợp lệ, hãy liên hệ với quản trị viên của máy chủ proxy để nhận chứng chỉ SSL/TLS hợp lệ.
  • Nếu chứng chỉ hợp lệ và vẫn không hoạt động. Bạn có thể tắt xác minh chứng chỉ SSL/TLS nhưng hãy nhớ rằng điều này có thể ảnh hưởng đến bảo mật của bạn.

#4. Quá trình xác thực đã thất bại

Nếu máy chủ proxy yêu cầu xác thực và bạn không thể xác thực thì có thể bạn đã nhập sai tên người dùng và mật khẩu hoặc máy chủ proxy đang sử dụng phương thức xác thực khác.

Hãy thử điều chỉnh thông tin xác thực của bạn cho phù hợp hoặc liên hệ với quản trị viên proxy của bạn để được trợ giúp.

Ghi chú của tác giả✍️

Có rất nhiều nhà cung cấp proxy miễn phí và trả phí trên internet, nhưng một trong những lựa chọn được đề xuất cho mục đích thương mại là IProyal. IPRoyal cung cấp nhiều giải pháp proxy cho doanh nghiệp, bao gồm proxy gia đình và trung tâm dữ liệu với nhiều vị trí và loại địa chỉ IP để lựa chọn.

Nó cung cấp các dịch vụ proxy đáng tin cậy và an toàn cho nhiều mục đích sử dụng khác nhau như quét web, khai thác dữ liệu và tự động hóa.

Tôi hy vọng bạn thấy bài viết này hữu ích trong việc tìm hiểu cách sử dụng máy chủ proxy với các công cụ dòng lệnh cURL và wget. Bạn cũng có thể quan tâm đến việc tìm hiểu cách ẩn danh lưu lượng truy cập Linux bằng chuỗi proxy và mạng Tor.