Bài 8: Cơ bản về Pandas

import pandas as pd

# Tạo DataFrame từ một dictionary
data = {
    'City': ['Hà Nội', 'TP.HCM', 'Đà Nẵng'],
    'Population': [8053663, 9420000, 1134000],
    'Latitude': [21.0285, 10.8231, 16.0544],
    'Longitude': [105.8542, 106.6297, 108.2022]
}
df = pd.DataFrame(data)
df.head()

# Từ một list các dictionaries
cities = [
    {'City': 'Hải Phòng', 'Population': 2028220, 'Latitude': 20.8449, 'Longitude': 106.6881},
    {'City': 'Cần Thơ', 'Population': 1235000, 'Latitude': 10.0452, 'Longitude': 105.7469}
]
df = pd.DataFrame(cities)
df.head()

# Tạo DataFrame từ list các lists với chỉ mục và tên cột tùy chỉnh
data = [
    ['Hà Nội', 8053663, 21.0285, 105.8542],
    ['TP.HCM', 9420000, 10.8231, 106.6297],
    ['Đà Nẵng', 1134000, 16.0544, 108.2022]
]
df = pd.DataFrame(data, columns=['City', 'Population', 'Latitude', 'Longitude']) # Thêm cột tương ứng
df.head()

# Ghi DataFrame ra CSV
df.to_csv(r'G:\My Drive\python\geocourse\data\outputs\cities.csv', index=False)
# Đọc DataFrame từ CSV
df_read = pd.read_csv(r'G:\My Drive\python\geocourse\data\outputs\cities.csv')
df_read.head()  

# Đọc DataFrame từ Excel
df_excel = pd.read_excel(r'G:\My Drive\python\geocourse\data\outputs\cities.xlsx')  # Giả sử bạn có file cities.xlsx
# Ghi DataFrame ra Excel
df.to_excel(r'G:\My Drive\python\geocourse\data\outputs\cities_output.xlsx', index=False)

# Đọc dữ liệu từ URL
url = 'https://raw.githubusercontent.com/mwaskom/seaborn-data/master/iris.csv'
df = pd.read_csv(url)
# Lưu DataFrame ra file CSV
df.to_csv(r'G:\My Drive\python\geocourse\data\outputs\iris_data.csv', index=False)
# Lưu DataFrame ra file Excel
df.to_excel(r'G:\My Drive\python\geocourse\data\outputs\iris_data.xlsx', index=False)

# Dữ liệu Olympiad toán 2018 từ github bên dưới
df = pd.read_csv('https://raw.githubusercontent.com/leomtz/apmowebsite/refs/heads/master/data/data_clean/scoretable-2018-clean.csv')
df.head()

# Lọc những thí sinh có rank dưới 3
ranked_df = df[df['rank'] < 3]
# Sắp xếp theo điểm tổng (Total Score) giảm dần
sorted_df = df.sort_values(by='total', ascending=False)
sorted_df.head()

# Tóm tắt điểm trung bình theo quốc gia
mean_scores = df.groupby('country')['total'].mean().reset_index().sort_values(by='total', ascending=False)
mean_scores.head()

# Tạo ra cột mới fullname bằng cách ghép first_name và last_name
df['fullname'] = df['first'] + ' ' + df['last']
df.head()

# Gộp 2 dataframes theo cột chung 'id'
df1 = pd.DataFrame({
    'id': [1, 2, 3],
    'value1': ['A', 'B', 'C']
})
df2 = pd.DataFrame({
    'id': [2, 3, 4],
    'value2': ['D', 'E', 'F']
})
merged_df = pd.merge(df1, df2, on='id', how='inner') # Thay 'inner' bằng 'outer', 'left', hoặc 'right' để thay đổi kiểu gộp
merged_df.head()

# tóm tắt dữ liệu df 
summary = df.describe()
# Tóm tắt chỉ cột số liệu
numeric_summary = df.describe(include=['number'])
# Tóm tắt chỉ cột đối tượng
categorical_summary = df.describe(include=['object'])

C:\Users\tuyen\AppData\Local\Temp\ipykernel_12788\2741901675.py:6: Pandas4Warning: For backward compatibility, 'str' dtypes are included by select_dtypes when 'object' dtype is specified. This behavior is deprecated and will be removed in a future version. Explicitly pass 'str' to `include` to select them, or to `exclude` to remove them and silence this warning.
See https://pandas.pydata.org/docs/user_guide/migration-3-strings.html#string-migration-select-dtypes for details on how to write code that works with pandas 2 and 3.
  categorical_summary = df.describe(include=['object'])

# Tóm tắt dữ liệu nhiều thông số 
stats = df.groupby('country').agg({
    'total': ['mean', 'max', 'min'],
    'rank': ['mean', 'max', 'min']
})
stats = stats.reset_index()
stats.head()