Một hệ thống VoIP bao gồm: Gateway, PBX server, VoIP Server, IP network và End User Equipments
- Gateway: là thiết bị chuyển đổi analog signal sang digital signal (và ngược lại).
- PBX server: Máy chủ PBX là tương tự như một máy chủ proxy: các máy khách SIP, có thể là điện thoại dạng phần mềm hay phần cứng, đăng ký với máy chủ PBX và khi chúng muốn thực hiện cuộc gọi, chúng yêu cầu máy IP PBX thiết lập kết nối. Máy chủ PBX có một danh mục tất cả mọi điện thoại/người dùng và địa chỉ SIP tương ứng của họ và do vậy có khả năng kết nối cuộc gọi trong mạng hay dẫn hướng cuộc gọi từ bên ngoài thông qua máy VoIP gateway hay một nhà cung cấp dịch vụ VoIP.
- VoIP server: là các máy chủ trung tâm có chức năng định tuyến và bảo mật cho các cuộc gọi VoIP. Trong mạng H.323 chúng được gọi là gatekeeper. Trong mạng SIP các server được gọi là SIP server.
- Thiết bị đầu cuối (End user equipments): Có thể sử dụng Softphone hoặc thiết bị phần cứng. Softphone được cài trên máy tính cá nhân như: Skype, Ekiga, GnomeMeeting, Microsoft Netmeeting, SIPSet, Cisco IP Communication… Phần cứng thì sử dụng những điện thoại IP Phone thuần chuyên về VoIP.
- IP phone: là các điện thoại dùng riêng cho mạng VoIP. Các IP phone không cần VoIP Adapter bởi chúng đã được tích hợp sẵn bên trong để có thể kết nối trực tiếp với các VoIP server.