Chuyển tới nội dung chính
Trang được dịch

Trang này được dịch từ tiếng Anh với sự hỗ trợ của AI. Nếu hai bản có chỗ khác nhau, hãy lấy phiên bản tiếng Anh làm chuẩn.

Kiểm kê toàn cầu AWS

Trong hướng dẫn này, chúng ta sẽ minh họa cách dùng StackQL - một công cụ mạnh mẽ dành cho nhà phát triển, cho phép truy vấn và triển khai hạ tầng và tài nguyên đám mây bằng cú pháp SQL - để tạo một bản kiểm kê đầy đủ về tất cả tài nguyên, trong tất cả dịch vụ, ở tất cả khu vực trong một tài khoản AWS nhất định.

Đã kiểm thử với backend SQL nhúng backend SQL postgres macos linux powershell

Cách hoạt động​

StackQL tích hợp một công cụ SQL có thể xử lý nhiều truy vấn một cách bất đồng bộ, ví dụ:

SELECT region, COUNT(*) as num_functions
FROM aws.lambda.functions
WHERE region IN (
'us-east-1','us-east-2','us-west-1','us-west-2',
'ap-south-1','ap-northeast-3','ap-northeast-2',
'ap-southeast-1','ap-southeast-2','ap-northeast-1',
'ca-central-1','eu-central-1','eu-west-1',
'eu-west-2','eu-west-3','eu-north-1','sa-east-1')
GROUP BY region;

Truy vấn ở trên thực chất là 17 truy vấn chạy song song (mỗi khu vực một truy vấn); kết quả được tổng hợp và trình bày dưới dạng một báo cáo. Với pystackql - một wrapper Python cho StackQL - chúng ta có thể duyệt qua tất cả tài nguyên trong tất cả dịch vụ cho tất cả khu vực mà dịch vụ đó hỗ trợ. Kết quả là một báo cáo cho biết số instance của mỗi tài nguyên được triển khai ở mỗi khu vực, như trong ví dụ dưới đây:

Ví dụ về kiểm kê AWS

Điều kiện tiên quyết​

  • pystackql, có thể cài đặt bằng pip install pystackql
  • Một người dùng AWS hoặc một vai trò (có thể đảm nhận bằng sts assume-role) được gắn chính sách ReadOnlyAccess hoặc một chính sách có quyền cao hơn
  • Đã đặt các biến môi trường AWS_ACCESS_KEY_ID và AWS_SECRET_ACCESS_KEY (có thể thực hiện việc này tự động bằng AWS CloudShell)

Mã nguồn​

Đoạn mã dưới đây thực hiện những việc sau:

  1. Định nghĩa danh sách tất cả các khu vực AWS (regions) và danh sách các khu vực được hỗ trợ cho mỗi dịch vụ (supported_regions); để biết thêm thông tin về cách xác định supported_regions, hãy xem AWS Service Support by Region at a Glance
  2. Tải xuống các provider StackQL aws và awscc nếu chúng chưa được cài đặt.
  3. Duyệt qua từng dịch vụ (dùng SHOW SERVICES), sau đó với mỗi dịch vụ, duyệt qua từng tài nguyên (dùng SHOW RESOURCES)
  4. Chọn tất cả instance của mỗi tài nguyên trên tất cả các khu vực một cách bất đồng bộ (dùng SELECT), nhóm dữ liệu theo khu vực và đếm số instance của mỗi tài nguyên ở mỗi khu vực

Đây là mã nguồn...

from regions import supported_regions, regions
from resources import excluded_resources, resource_filters
import time
from pystackql import StackQL
import pandas as pd

stackql = StackQL(output='pandas', page_limit=-1, execution_concurrency_limit=-1)

def pull_stackql_providers():
providers_df = stackql.execute("SHOW PROVIDERS")
installed = providers_df['name'].values if not providers_df.empty else []
for provider in ('aws', 'awscc'):
if provider not in installed:
print(f"{provider} not installed. Installing {provider}")
res = stackql.executeStmt(f"REGISTRY PULL {provider}")
print(res['message'])

def get_s3_buckets():
# special case for s3 buckets - use the awscc provider's list view, which
# returns each bucket alongside its region in a single query across all regions
regions_in = ", ".join([f"'{region}'" for region in regions])
buckets_df = stackql.execute(f"""
SELECT region, bucket_name
FROM awscc.s3.buckets_list_only
WHERE region IN ({regions_in});
""")
# Group by region and count the total resources (buckets) in each region
grouped = buckets_df.groupby('region').size().reset_index(name='total_resources')
grouped['svc'] = 's3'
grouped['res'] = 'buckets'
output_df = grouped[['svc', 'res', 'region', 'total_resources']]
return output_df

def main():
start_time = time.time()
pull_stackql_providers()
results_df = pd.DataFrame(columns=['svc', 'res', 'region', 'total_resources'])
# get all enumerable aws services
services_df = stackql.execute("SHOW SERVICES IN aws")
for svcIx, svcRow in services_df.iterrows():
service = svcRow['name']
if service in supported_regions:
# check all enumerable aws resources in the service against supported regions
resources_df = stackql.execute(f"SHOW RESOURCES IN aws.{service}")
plural_resources = [resource for resource in resources_df['name'].tolist() if resource.endswith('s')]
if plural_resources:
for resource in plural_resources:
print(f"Checking {resource} in {service}...")
if service == 's3' and resource == 'buckets':
print(f"Checking location for s3 buckets...")
resource_df = get_s3_buckets()
else:
# should we skip this service?
if service in excluded_resources and resource in excluded_resources[service]:
continue
# check if the resource is global or regional
if 'global' in supported_regions[service]:
regions_in = ", ".join([f"'{region}'" for region in regions])
else:
regions_in = ", ".join([f"'{region}'" for region in supported_regions[service]])

# check if there are additional where clauses for this resource
where_clause = resource_filters.get(service, {}).get(resource, '')

resource_df = stackql.execute(f"""
SELECT '{service}' as svc, '{resource}' as res, region, COUNT(*) as total_resources
FROM aws.{service}.{resource}
WHERE region IN ({regions_in}){where_clause}
GROUP BY svc, res, region
""")

if not resource_df.empty:
# Append resource_df to the results_df
if not 'error' in resource_df.columns:
results_df = pd.concat([results_df, resource_df], ignore_index=True)
end_time = time.time()
elapsed_time = end_time - start_time
print(f"Elapsed time: {elapsed_time:.2f} seconds")
results_df.to_csv('all_aws_resources.csv', index=False)

if __name__ == "__main__":
main()