一、從運作方式到層級,AWS S3詳細解密
當談到雲端服務的最大供應商,首先進入腦海的不意外會是被稱作3大公有雲之一的AWS,那你知道討論度最高、其中受到各大知名企業如Snapchat、Pinterest、Adidas青睞的AWS S3是什麼樣的產品服務嗎?讓COCloud從功能、元件,到儲存層級深入淺出將AWS S3介紹、分享給你聽。
(一)雲端儲存百寶袋:Amazon S3基本介紹
官方對於Amazon S3介紹的定義為「一項物件儲存服務,提供領先業界的可擴展性、資料可用性、安全性和效能。」經由Web服務的介面,使用者得以輕鬆地把檔案以物件的形式存儲到網路伺服器上。不論是何種產業、企業規模大小,資料儲存可說是最基本也最迫切需求的技術,過去利用硬體儲放資料的方式顯然已不敷成本,因此企業紛紛轉而尋求雲端技術解決這個問題。以下就AWS S3中的儲存體管理功能為例,做簡單的講解:
- 生命週期:AWS S3能針對個別資料物件設定生命週期,以便進行管理,並依據使用者所設定的生命週期長短,以更符合成本效益的方式進行存放。由於資料的蒐集區間經常長達數年甚至數十年,此功能能夠將舊有,但已經不具經濟價值的某些資料做更好地管理甚至刪除。包含資料移轉時間、資料到期時間2項:
- 資料移轉時間(Transition Actions):可依照資料特性將物件轉換至其他S3儲存類別,也就是下方將詳細介紹的7大儲存層級。例如:30天過後,若並未針對特定物件執行任何動作,物件將從常擷取資料的一般用途層級,轉移到不常存取的類別;或是1年後未擷取,則自動移動到封存類別。
- 資料到期時間(Expiration Actions):定義各項物件的過期時限,一旦設定此期限,AWS S3將可能在此設定區間刪除此物件。
- 物件鎖定:為符合一寫多讀(WORM)*儲存的法規要求,或單純多加一道保護等目的,可善用物件鎖定功能,預防刪除或覆寫Amazon S3物件的情形發生。可分為保留期限與合規保留以下2道設定:
- 保留期限(Retention Period):自行設定欲鎖定物件的時間,此期間物件無法被覆蓋或刪除。
- 合規保留(Legal Hold):提供相同之保護措施,但並沒有到期限制,在使用者採取動作將物件刪除之前,檔案會依原設定存續。
*WORM:一項資料儲存技術,資料訊息需在單一時間寫入儲存之設備,防止用戶意外、刻意地變更或刪除數據。過往多用於需要長久保存期限的檔案,如:醫療影像、專利紀錄等,現今也常見企業運用在證明文件、財務文件等數據歸檔。
- 複寫:如果有保留原物件、將物件分別存儲在其餘區域或是層級等需求,可選擇將物件本體、中繼資料、物件標籤等條件設置複寫到相同或不同AWS區域中的一個或多個目的儲存貯體,既減少延遲性,也滿足合規性。
- 批次作業:藉由S3主控台中點擊,或是經由單一S3 API請求,可即時性地大規模管理數十億個物件,一次執行各類型操作,例如:物件複寫、使用AWS Lambda函數,甚至是還原功能。
功能面除了上述舉例的儲存體管理,AWS S3內部尚有存取管理、資料處理、監控工具、分析工具等能夠做進一步設定,極具彈性與客製化調整空間,可依照企業需求及目的自由做選擇。
雖然單單AWS S3用途聽起來好像非常單純,但若是從資料高度一致性、維護數據完整的特性,或是依企業個別需求,搭配AWS其餘雲端產品如Amazon S3 Storage Lens分析使用的角度來看,其中數據取得的便利性、1加1大於2的功能堆疊,並進一步應用在資料湖、託管靜態網頁、快照備份以及Log儲存等多元發展方式上,使AWS S3成為企業一套強大且得力的最佳助手。
(二)AWS S3 Bucket是什麼?3元件分享
現在我們釐清了S3是什麼樣的產品,也知道S3雲端儲存功能如此強大,那麼其中的運用邏輯又是如何操作呢?這邊就需要提及S3使用上比較基礎的3個概念:
- 儲存貯體(Bucket):
用於儲存物件的容器,在儲存貯體中可存放任意數量的物件無限制,但要留意Bucket中無法在創立Bucket,而是使用Folder將同類型物件集結。目前帳戶中最多可有100個儲存貯體,如果對於儲存貯體有更多需求,可請AWS S3協助調整Bucket的數量上限,一旦儲存貯體建立,會影響到分享後下載位置的網址。
- 資料夾(Folder):
AWS S3支援將資料夾概念作為分組物件的方法,可以建立、刪除、設為公開,但無法重新命名。AWS S3是透過辨別物件的共用名稱字首(名稱開頭為相同字串的物件)來達到分類的目的,而物件名稱也稱為金鑰(Key),因此物件的命名建議可以依照分群的邏輯考量。S3內部實為單層式結構,而不是在一般檔案系統中看到的階層結構,S3介面將應用設計得有如常見的電腦C槽,讓使用者更好操作和理解。
- 物件(Object):
存放在Amazon S3中的基本實體,是由物件資料、中繼資料、物件名稱(Key)、版本ID等元素構成,單一物件大小上限可以從0Byes到5TB。其中版本ID具有版本控制的功能,可以保留、擷取、還原物件變更前中後的各式版本,避免改動物件卻無法找回原內容的情況發生。另外,由於S3為Object-Based,條件調整如:儲存層級,皆能以物件為單位設定。
(三)Storage S3的7大儲存層級
前面曾提及,為了讓使用者更好的管理並使用,除了有讓S3順利運作的3元件外,S3 Amazon依照資料的使用及擷取頻率,進一步將S3 Cloud分為7個層級,越接近封存層級,價格越低,資料存取所花的時間也相對更長:
- S3標準(一般用途):
預設為較常存儲及擷取的物件所使用,由於此處資料存儲需要具備一定靈活性,因此此層級具備低延遲、高輸送效能、可用性及耐用性高等特性,在這也能設定各物件生命週期,讓其依指令移轉。運用的情境相當廣泛,例如:資料湖建置、大數據分析、靜/動態網站、雲端應用程式、行動應用程式、遊戲應用程式等。
- S3智慧型分層(未知或變更中存取):
自行監控使用者對於物件的存取頻率,將個別物件移轉至不同儲存層級,透過自動將不常用的物件移轉到封存層級,降低更多儲存成本的開支,並在特定層級同樣享有低延遲及高輸送量的優勢。物件若小於128KB,則毋須收取額外的監控及自動分層費用,若無法預測或尚未定義特定物件的存取頻率,放在智慧型分層會是最佳的選擇。
- S3標準 – IA(不常存取):
適用在存取頻率低,但必要時存取速度需快速的物件,具備與S3標準層級相同的高持久性、高輸送量和低延遲能力,經常用作長期儲存、檔案備份、災難復原等的資料存放區,並且也可在此層級設定各個物件的生命週期。
- S3單區域 – IA(不常存取):
比起其他儲存類別將物件放在至少3個可用區域(Availability Zones, AZ),此層級將物件僅放在單一的可用區域,成本較不常存取的S3標準階層減少20%。倘若使用者並未要求物件快速的可用性以及靈活性,像是次要備份副本,可以選用此方案降低成本。只是要特別留意的是,由於資料僅儲存在1個可用區域,一旦可用區域損壞,資料本身也會丟失,且物件一定會經歷跨區域複寫或傳輸,有產生額外花費的可能性。
除了上述之外,官方將以下3個封存層級劃分在另一個產品項目,不過多數時候仍會一起列入討論。此3個階層同樣用以存放存取頻率低的物件,依照適用的物件類型以及擷取時間長短再做細分:
- S3 Glacier Instant Retrieval(封存):
針對需要立即存取的長期資料提供成本最低的儲存空間,以毫秒為單位擷取資料,在存取方面的效能可比S3標準 – IA層級,主要用來存放季度性回顧的資料如:醫學影像、衛星成像、新聞媒體留存等檔案類型。
- S3 Glacier Flexible Retrieval(封存):
前稱為S3 Glacier,為每年存取1到2次且不須同步擷取的資料所設計,成本相較於Instant Retrieval再降低10%,用於不要求立即存取,但是需要更靈活擷取大量資料的數據,如:備份、災難復原、異地資料存儲,少量擷取時間數分鐘內可完成,免費的大量資料擷取則需5到12小時。
- S3 Glacier Deep Archive(封存):
是所有層級中成本最低的儲存方案,比起Flexible Retrieval還可以再減少最多75%的花費,針對高度受法規監管的產業,像是金融服務、醫療保健、公共部門等這些機構的特定資料,每年存取少於1次且不須同步擷取,但是需要保留7到10年甚至更長時間,此時Deep Archive便成為此類資料儲存的最佳解決方案,每次資料擷取時間約為12至48小時,作為磁帶程式庫的替代方式更具效益。
這裡要提醒的是,如果檔案在封存層級有存放不夠久的情形,有可能會產生額外費用,即封存區物件須符合最低儲存期間。Amazon S3 Glacier專門為需要長久保留資料的使用案例所設計,如果要刪除的存檔已存放長達90天或以上,則從此處刪除資料免費;但若是其中存檔在上傳後90天內便刪除,則須要支付所謂「提早刪除的費用」。
二、手把手AWS S3教學!3步驟輕鬆上手操作
相信大家對於AWS S3內部的運作方式已有更深入的理解,然而在實際運用上,也有許多人敲碗Amazon S3教學,本段就來分享AWS S3的操作3步驟,讓你更進一步掌握AWS S3使用方式!
- 創建儲存貯體:【至AWS Console選取S3的產品服務→點擊「建立儲存貯體」→填寫名稱→選擇區域】第一步要注意的是,基於S3是全球性的服務,儲存貯體的取名須為全球唯一;如果看到選取區域的部分,建議與其他使用的AWS產品同一區域,以免後續產生跨區域而須額外付費的情況。
- 進入上傳物件:【進入儲存貯體→點擊「上傳」→點擊新增檔案→選擇要上傳的檔案→左下角點擊「上傳」】在此儲存貯體內可建立上述提及的資料夾(Folder),以便更好地管理各項物件,也建議多加留意各自的命名邏輯。
- 變更物件權限:【首先確認「Block public access」區域為關閉的→進入物件內部同步更改權限】
由於AWS S3預設值即為不對外公開,因此若想順利檢視檔案是否正確或是能否讓他人存取,應確認預設值是不是已做調整,才能夠分享檔案,且若有開放對外存取,則可直接透過網路連結取得該資源。
考量到使用者體驗,AWS S3的起始介面邏輯表面就如同操作一般電腦內檔案,因此一般情況下不會太難上手喔!且目前S3提供12個月的免費方案,可以建立AWS帳戶嘗試親自操作。
三、影響AWS S3價格的6因素報你知
既然AWS S3這麼好用,那AWS S3費用會不會很高呢?Amazon S3價格是如何計價呢?如同其他AWS雲端產品,AWS S3是根據使用量付費,並沒有所謂的最低收費。儘管如此,單就S3產品來說,仍會受到下列6個因素影響,了解這些原因讓你對Amazon S3費用差別更有概念:
(一)儲存容量及層級
首先會取決於物件的大小、當月期間物件的存放時間長度,使用量以2進位Gigabyte(GB)計算;另外,儲存的層級為何也會影響每月最終收費,以S3智慧型分層為例,其視個別物件大小尚會額外收取每月的監控以及自動化的花費,和物件在層級間移動的價格。
(二)請求和資料擷取
此為針對向S3儲存貯體和物件發出請求的費用,其中的請求成本會根據請求類型和數量而定,包含:Put、Copy、Post、List、Get、Select、資料擷取、生命週期調整,而Delete與Cancel請求則為免費,以1,000個請求為計費單位,每個層級費用各不相同。
(三)資料的傳輸轉換
須要支付傳入和傳出Amazon S3的所有頻寬費用,例如:在不同區域間的S3儲存貯體傳輸,或是加速用戶端和單一儲存貯體間網際網路傳輸的「加速移轉功能」,其定價是按照用來加速傳輸的AWS節點計費,如果未能比一般傳輸還快,便不會收取該費用。僅以下項目不用負擔傳輸轉換的支出:
- 網際網路的資料傳入
- 傳至Amazon CloudFront的資料輸出
- AWS同一區域的S3儲存貯體之間傳輸
- 所有AWS服務和區域中彙總計算,每月前100GB傳輸至網際網路的資料
- 與S3儲存貯體相同的AWS區域內,資料從AWS S3儲存貯體傳輸至任何AWS的服務
(四)管理功能與分析
帳戶儲存貯體上啟用的儲存管理和分析功能皆須支付額外的費用,像是Amazon S3庫存、S3 Storage Class Analysis、S3 Storage Lens、S3物件標記等工具。
(五)物件副本的需求
對於跨區域複寫 (CRR) 和相同區域複寫 (SRR),應支付副本到達目的地區域內S3的物件儲存費用、主要副本和複寫Put請求,以及若是使用不常存取或封存層級,則須再加上擷取費用。另外,如有批次處理複寫任務的需求,尚會根據操作類型增加其餘開支。
(六)客製化處理資料
經由S3 Object Lambda,還可將自有的程式碼新增至S3 Get、Head和List請求,便於在資料傳回應用程式時做出修改和處理,與現有應用程式配合,像是:資料列篩選、動態調整影像、修訂機密資料等動作。S3的請求以及Lambda價格會視AWS區域、持續期間、分配給Lambda函數的記憶體等而定。
也有人問說:「有沒有終身AWS S3免費的方案呢?」基本上官方提供的是Amazon S3免費試用12個月,並且有5GB、20,000個Get請求、2,000個Put請求的限制,可以先行使用免費方案檢視S3功能是否符合自身需求。此期限過後會按照原先不同的需求條件設置按月收取訂閱費用喔!
四、AWS代理商首選|COCloud為您量身定做雲端解決方案
看完上面的介紹,仍然不確定是否該選用AWS S3、對於AWS S3計價方式感到困擾及頭昏腦脹,害怕收到服務帳單時與原先成本計算落差太大嗎?或是還在尋求AWS合作夥伴、AWS代理商台灣負責企業?COCloud以高效率為你搞定雲端大小事!我們具備以下5大服務特色:
- 一站整合多項雲端服務融合多個雲平台,搭建客戶不同雲平台間的連結,選取最適方案,提供更可靠易用的雲融合服務。
- 擁有高性能配置的同時具有價格的競爭力,不論是網路效能還是儲存空間,都能滿足企業需求。
- 靈活、多元、彈性的支付選擇,包含台幣、美金、USDT。
- 多語言且24*7在線雲端專家,隨時為你解答疑惑、解決問題。
- 出海落地輕鬆省事,COCloud在多國皆有據點,協助企業輕鬆進軍亞太市場。
將地端資料儲存移轉到雲端不僅降低成本,也能有效優化整體工作程序,不必再為如何處理龐大的資料量而煩惱,如果想要讓企業更具競爭力、善加利用強大的AWS S3,歡迎點擊下方與COClooud聯繫,COCloud就是企業上雲路途中,最佳的商業夥伴。