05-csv-and-dataframes

%23%20%2F%2F%2F%20script%0A%23%20requires-python%20%3D%20%22%3E%3D3.12%2C%3C3.15%22%0A%23%20dependencies%20%3D%20%5B%22marimo%5Bsql%5D%22%2C%20%22altair%3D%3D6.0.0%22%2C%20%22polars%3D%3D1.33.1%22%2C%20%22requests%3D%3D2.33.1%22%5D%0A%23%20%0A%23%20%5Btool.marimo.export%5D%0A%23%20lock_kind%20%3D%20%22observed%22%0A%23%20%2F%2F%2F%0A%22%22%22From%20a%20CSV%20file%20to%20a%20dataframe.%0A%22%22%22%0A%0Aimport%20marimo%0A%0A__generated_with%20%3D%20%220.25.2%22%0Aapp%20%3D%20marimo.App(width%3D%22medium%22%2C%20sql_output%3D%22polars%22)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20marimo%20as%20mo%0A%0A%20%20%20%20return%20(mo%2C)%0A%0A%0A%40app.cell%0Adef%20_()%3A%0A%20%20%20%20import%20csv%0A%0A%20%20%20%20import%20altair%20as%20alt%0A%20%20%20%20import%20polars%20as%20pl%0A%20%20%20%20import%20requests%0A%0A%20%20%20%20return%20alt%2C%20csv%2C%20pl%2C%20requests%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20From%20a%20CSV%20File%20to%20a%20Dataframe%0A%0A%20%20%20%20In%20this%20notebook%20you%20save%20the%20towns%20you%20read%20from%20the%20course%20API%20last%20week%20to%20a%20file%2C%20read%20them%20back%2C%20and%20answer%20one%20question%20about%20them%20three%20ways%3A%20with%20a%20loop%2C%20in%20polars%20and%20in%20SQL.%20Then%20you%20chart%20the%20answer.%0A%0A%20%20%20%20%7C%20%7C%20%7C%0A%20%20%20%20%7C---%7C---%7C%0A%20%20%20%20%7C%20%E2%9C%8F%EF%B8%8F%20%7C%20Your%20turn.%20Add%20cells%20with%20the%20**%2B**%20button%20%7C%0A%20%20%20%20%7C%20%F0%9F%9A%80%20%7C%20This%20week's%20work%20%7C%0A%0A%20%20%20%20For%20a%20written%20answer%2C%20add%20a%20cell%20under%20the%20question%2C%20open%20the%20cell's%20**%E2%8B%AF**%20menu%20and%20choose%20**Convert%20to%20Markdown**.%0A%0A%20%20%20%20Every%20%E2%9C%8F%EF%B8%8F%20is%20part%20of%20this%20week's%20work.%20The%20**Going%20further**%20at%20the%20end%20of%20an%20exercise%20is%20optional%3B%20try%20it%20once%20the%20rest%20is%20done.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20**Work%20with%20your%20agent%20the%20same%20way%20as%20in%20notebook%204.**%20Try%20it%20yourself%20first%2C%20or%20write%20the%20steps%20in%20words.%20Then%20ask%20your%20agent%2C%20ask%20it%20to%20explain%20any%20line%20you%20could%20not%20have%20written%2C%20and%20ask%20which%20concepts%20its%20answer%20used.%20Exercise%20A%20is%20by%20hand.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%201.%20Saving%20What%20You%20Fetched%0A%0A%20%20%20%20The%20towns%20you%20read%20last%20week%20lived%20in%20memory%2C%20and%20they%20were%20gone%20when%20the%20notebook%20stopped.%20An%20API%20also%20changes.%20The%20shop%20takes%20new%20orders%20every%20day%2C%20and%20the%20tax%20figures%20change%20every%20year.%20**Save%20a%20copy%20to%20a%20file**%2C%20and%20the%20same%20analysis%20runs%20again%20on%20the%20same%20data%2C%20without%20a%20network%2C%20and%20anybody%20can%20open%20it%20in%20a%20spreadsheet.%20%5BMini%20Project%202%5D(%2Fassignments%2Fmini-project-2%2F)%20asks%20you%20to%20do%20the%20same.%0A%0A%20%20%20%20**CSV**%20is%20the%20plainest%20table%20a%20file%20can%20hold%3A%20one%20line%20per%20record%2C%20commas%20between%20the%20values%2C%20and%20a%20first%20line%20that%20names%20the%20columns.%0A%0A%20%20%20%20First%2C%20collect%20every%20town.%20%60%2Fma%2Fcounties%60%20lists%20the%2014%20counties.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(requests)%3A%0A%20%20%20%20ma_counties%20%3D%20requests.get(%22https%3A%2F%2Foim.zhili.dev%2Fma%2Fcounties%22%2C%20timeout%3D10).json()%0A%20%20%20%20ma_counties%5B0%5D%2C%20len(ma_counties)%0A%20%20%20%20return%20(ma_counties%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%60get_towns%60%20is%20the%20function%20from%20notebook%204%2C%20section%202%2C%20with%20one%20change%3A%20%60per_page%3D100%60%2C%20because%20the%20largest%20county%20has%2060%20towns%20and%20the%20server%20sends%2050%20to%20a%20page%20unless%20you%20ask%20for%20more.%20Called%20once%20per%20county%2C%20it%20collects%20every%20town%20in%20the%20state.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(requests)%3A%0A%20%20%20%20def%20get_towns(county)%3A%0A%20%20%20%20%20%20%20%20towns_reply%20%3D%20requests.get(%0A%20%20%20%20%20%20%20%20%20%20%20%20%22https%3A%2F%2Foim.zhili.dev%2Fma%2Ftowns%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20params%3D%7B%22county%22%3A%20county%2C%20%22per_page%22%3A%20100%7D%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20timeout%3D10%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20return%20towns_reply.json()%5B%22items%22%5D%0A%0A%20%20%20%20return%20(get_towns%2C)%0A%0A%0A%40app.cell%0Adef%20_(get_towns%2C%20ma_counties)%3A%0A%20%20%20%20ma_towns%20%3D%20%5B%5D%0A%20%20%20%20for%20_county%20in%20ma_counties%3A%0A%20%20%20%20%20%20%20%20for%20_town%20in%20get_towns(_county%5B%22name%22%5D)%3A%0A%20%20%20%20%20%20%20%20%20%20%20%20ma_towns.append(_town)%0A%20%20%20%20len(ma_towns)%0A%20%20%20%20return%20(ma_towns%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20**Writing%20the%20file.**%20Python's%20%60csv%60%20module%20writes%20and%20reads%20CSV%20files%2C%20so%20you%20never%20put%20the%20commas%20in%20yourself.%20%60csv.DictWriter%60%20takes%20a%20list%20of%20dictionaries%2C%20the%20shape%20you%20already%20have%3A%0A%0A%20%20%20%20-%20%60fieldnames%60%20names%20the%20columns%20to%20keep%2C%20in%20order.%20Each%20town%20has%2014%20fields%2C%20and%20%60extrasaction%3D%22ignore%22%60%20leaves%20out%20the%20ones%20not%20named.%0A%20%20%20%20-%20%60.writeheader()%60%20writes%20the%20first%20line%2C%20and%20%60.writerows()%60%20writes%20one%20line%20per%20town.%0A%20%20%20%20-%20%60open(path%2C%20%22w%22)%60%20opens%20the%20file%20for%20writing%2C%20and%20%60with%60%20closes%20it%20when%20the%20block%20ends.%20The%20empty%20%60newline%60%20setting%20is%20what%20the%20%60csv%60%20module%20asks%20for%2C%20so%20that%20lines%20end%20the%20same%20way%20on%20every%20computer.%0A%0A%20%20%20%20A%20data%20file%20goes%20in%20the%20%60data%60%20folder%2C%20which%20sits%20in%20the%20root%20folder%20of%20your%20repository%2C%20one%20folder%20up%20from%20this%20notebook.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(csv%2C%20ma_towns%2C%20mo)%3A%0A%20%20%20%20csv_columns%20%3D%20%5B%0A%20%20%20%20%20%20%20%20%22name%22%2C%0A%20%20%20%20%20%20%20%20%22county%22%2C%0A%20%20%20%20%20%20%20%20%22population%22%2C%0A%20%20%20%20%20%20%20%20%22income_per_capita_dollars%22%2C%0A%20%20%20%20%20%20%20%20%22average_single_family_value_dollars%22%2C%0A%20%20%20%20%20%20%20%20%22average_single_family_bill_dollars%22%2C%0A%20%20%20%20%5D%0A%0A%20%20%20%20ma_towns_csv%20%3D%20mo.notebook_dir().parent%20%2F%20%22data%22%20%2F%20%22ma-towns.csv%22%0A%20%20%20%20ma_towns_csv.parent.mkdir(exist_ok%3DTrue)%0A%0A%20%20%20%20with%20open(ma_towns_csv%2C%20%22w%22%2C%20newline%3D%22%22%2C%20encoding%3D%22utf-8%22)%20as%20_file%3A%0A%20%20%20%20%20%20%20%20_writer%20%3D%20csv.DictWriter(_file%2C%20fieldnames%3Dcsv_columns%2C%20extrasaction%3D%22ignore%22)%0A%20%20%20%20%20%20%20%20_writer.writeheader()%0A%20%20%20%20%20%20%20%20_writer.writerows(ma_towns)%0A%0A%20%20%20%20ma_towns_csv.name%0A%20%20%20%20return%20(ma_towns_csv%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20**Open%20it.**%20In%20VS%20Code's%20Explorer%2C%20the%20%60data%60%20folder%20now%20sits%20beside%20the%20%60notebooks%60%20folder%2C%20and%20%60ma-towns.csv%60%20is%20inside%20it.%20Click%20it%3A%20the%20table%20is%20plain%20text%2C%20one%20town%20per%20line.%0A%0A%20%20%20%20**Reading%20it%20back.**%20%60csv.DictReader%60%20reads%20one%20line%20at%20a%20time%20and%20turns%20each%20into%20a%20dictionary%2C%20with%20the%20header's%20names%20as%20keys.%20%60list(...)%60%20collects%20them%20all%2C%20and%20you%20are%20back%20to%20a%20list%20of%20records%2C%20the%20shape%20the%20API%20sent.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(csv%2C%20ma_towns_csv)%3A%0A%20%20%20%20with%20open(ma_towns_csv%2C%20newline%3D%22%22%2C%20encoding%3D%22utf-8%22)%20as%20_file%3A%0A%20%20%20%20%20%20%20%20towns_from_file%20%3D%20list(csv.DictReader(_file))%0A%20%20%20%20len(towns_from_file)%2C%20towns_from_file%5B0%5D%0A%20%20%20%20return%20(towns_from_file%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20**Every%20value%20the%20%60csv%60%20module%20reads%20is%20text.**%20Look%20at%20the%20population%3A%20%60'49831'%60%2C%20in%20quotes.%20A%20CSV%20file%20has%20no%20types%2C%20only%20characters%2C%20so%20the%20module%20gives%20you%20strings%2C%20and%20adding%201%20to%20one%20raises%20a%20%60TypeError%60.%20%60int()%60%20turns%20it%20back%20into%20a%20number%2C%20or%20%60float()%60%20when%20it%20has%20a%20decimal%20point.%20The%20file%20does%20not%20record%20which%20columns%20were%20numbers%2C%20so%20you%20convert%20them%20yourself.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(towns_from_file)%3A%0A%20%20%20%20towns_from_file%5B0%5D%5B%22population%22%5D%2C%20int(towns_from_file%5B0%5D%5B%22population%22%5D)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20%E2%9C%8F%EF%B8%8F%20A%20%C2%B7%20By%20Hand%0A%0A%20%20%20%20**No%20agent%20for%20this%20one**%2C%20and%20no%20code%20completion%20either.%20When%20the%20editor%20suggests%20code%20in%20grey%20as%20you%20type%2C%20press%20%60Esc%60%20and%20keep%20typing%20your%20own.%0A%0A%20%20%20%20%60average_single_family_value_dollars%60%20is%20the%20state's%20figure%20for%20what%20a%20single-family%20home%20in%20the%20town%20is%20worth%20on%20average%2C%20as%20the%20town%20assesses%20it%20for%20tax.%20Call%20a%20town%20a%20**million-dollar%20town**%20when%20that%20figure%20is%20%241%2C000%2C000%20or%20more.%20Across%20the%20state%20the%20middle%20town%20is%20near%20%24586%2C000.%0A%0A%20%20%20%201.%20How%20many%20million-dollar%20towns%20are%20there%2C%20and%20which%20county%20has%20the%20most%20of%20them%3F%20Use%20%60towns_from_file%60%2C%20a%20%60for%60%20loop%2C%20%60int()%60%2C%20and%20a%20dictionary%20that%20counts%2C%20as%20in%20notebook%203.%20*Check%20yourself%3A%2053%20towns%2C%20and%20Middlesex%20has%20the%20most%2C%20with%2014.*%0A%20%20%20%202.%20Which%20town%20has%20the%20fewest%20people%2C%20and%20which%20has%20the%20most%3F%20Loop%20over%20%60towns_from_file%60%20and%20keep%20the%20smallest%20and%20the%20largest%20you%20have%20seen%20so%20far%2C%20the%20way%20%60find_largest%60%20did%20in%20notebook%204.%20*Check%20yourself%3A%20Gosnold%2C%20with%2062%20people%2C%20and%20Boston%2C%20with%20673%2C458.*%0A%0A%20%20%20%20**Going%20further.**%20Find%20the%20town%20with%20the%20most%20expensive%20average%20home%20in%20each%20county.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%202.%20Describe%20What%20You%20Want%0A%0A%20%20%20%20Your%20loops%20in%20A%20spelled%20out%20**how**%3A%20go%20through%20every%20town%2C%20convert%2C%20compare%2C%20add%20one%20or%20keep%20the%20smallest.%20That%20took%20a%20dozen%20lines%2C%20and%20a%20reader%20has%20to%20run%20them%20in%20their%20head%20to%20know%20what%20they%20answer.%20**polars**%20lets%20you%20describe%20**what**%20you%20want%20instead.%0A%0A%20%20%20%20%60pl.read_csv%60%20reads%20the%20same%20file%20into%20a%20**DataFrame**%3A%20a%20table%20with%20named%20columns.%20It%20is%20your%20list%20of%20records%20shown%20as%20a%20table%2C%20each%20row%20a%20record%20and%20each%20column%20a%20key%2C%20and%20polars%20has%20already%20turned%20the%20numbers%20into%20numbers.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(ma_towns_csv%2C%20pl)%3A%0A%20%20%20%20town_table%20%3D%20pl.read_csv(ma_towns_csv)%0A%20%20%20%20town_table%0A%20%20%20%20return%20(town_table%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%60.schema%60%20lists%20each%20column%20with%20its%20type%2C%20the%20step%20you%20did%20with%20%60int()%60.%20%60.shape%60%20is%20the%20number%20of%20rows%20and%20columns.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(town_table)%3A%0A%20%20%20%20town_table.schema%2C%20town_table.shape%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20**A's%20second%20step%20in%20one%20line.**%20%60.sort()%60%20puts%20the%20rows%20in%20order%20of%20one%20column%2C%20smallest%20first%2C%20so%20the%20first%20row%20is%20the%20town%20with%20the%20fewest%20people.%20%60descending%3DTrue%60%20puts%20the%20largest%20first.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(town_table)%3A%0A%20%20%20%20town_table.sort(%22population%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Here%20is%20A's%20first%20step%20in%20polars.%20Read%20it%20as%20a%20sentence%3A%0A%0A%20%20%20%20-%20%60.filter(...)%60%20keeps%20the%20million-dollar%20towns.%20It%20is%20the%20%60if%60%20in%20your%20loop%2C%20applied%20to%20every%20row%20at%20once%2C%20and%20%60pl.col(...)%60%20names%20the%20column%20it%20reads.%0A%20%20%20%20-%20%60.group_by(%22county%22)%60%20makes%20one%20group%20per%20county%2C%20and%20%60.agg(pl.len())%60%20counts%20the%20rows%20in%20each.%20It%20is%20your%20counting%20dictionary.%0A%20%20%20%20-%20%60.sort(...%2C%20descending%3DTrue)%60%20puts%20the%20largest%20first.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pl%2C%20town_table)%3A%0A%20%20%20%20(%0A%20%20%20%20%20%20%20%20town_table.filter(pl.col(%22average_single_family_value_dollars%22)%20%3E%3D%201_000_000)%0A%20%20%20%20%20%20%20%20.group_by(%22county%22)%0A%20%20%20%20%20%20%20%20.agg(pl.len().alias(%22towns%22))%0A%20%20%20%20%20%20%20%20.sort(%22towns%22%2C%20descending%3DTrue)%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20**A%20count%20can%20mislead.**%20Middlesex%20has%20the%20most%20million-dollar%20towns%2C%20and%20it%20also%20has%2054%20towns%2C%20more%20than%20any%20county%20but%20Worcester.%20The%20fairer%20question%20is%20what%20share%20of%20each%20county's%20towns%20are%20million-dollar%20towns.%0A%0A%20%20%20%20-%20%60pl.len()%60%20counts%20all%20the%20towns%20in%20each%20county.%0A%20%20%20%20-%20A%20comparison%20such%20as%20%60pl.col(...)%20%3E%3D%201_000_000%60%20is%20%60True%60%20or%20%60False%60%20for%20each%20town%2C%20and%20%60.sum()%60%20adds%20up%20the%20%60True%60s%2C%20which%20counts%20them.%0A%20%20%20%20-%20%60.with_columns()%60%20adds%20a%20column%20computed%20from%20the%20others%2C%20here%20one%20count%20divided%20by%20the%20other.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(pl%2C%20town_table)%3A%0A%20%20%20%20million_dollar_share%20%3D%20(%0A%20%20%20%20%20%20%20%20town_table.group_by(%22county%22)%0A%20%20%20%20%20%20%20%20.agg(%0A%20%20%20%20%20%20%20%20%20%20%20%20pl.len().alias(%22towns%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20(pl.col(%22average_single_family_value_dollars%22)%20%3E%3D%201_000_000)%0A%20%20%20%20%20%20%20%20%20%20%20%20.sum()%0A%20%20%20%20%20%20%20%20%20%20%20%20.alias(%22million_dollar_towns%22)%2C%0A%20%20%20%20%20%20%20%20)%0A%20%20%20%20%20%20%20%20.with_columns((pl.col(%22million_dollar_towns%22)%20%2F%20pl.col(%22towns%22)).alias(%22share%22))%0A%20%20%20%20%20%20%20%20.sort(%22share%22%2C%20descending%3DTrue)%0A%20%20%20%20)%0A%20%20%20%20million_dollar_share%0A%20%20%20%20return%20(million_dollar_share%2C)%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20The%20share%20tells%20a%20different%20story%20from%20the%20count.%20Every%20town%20in%20Dukes%20County%2C%20which%20is%20Martha's%20Vineyard%20and%20the%20Elizabeth%20Islands%2C%20and%20in%20Nantucket%20is%20a%20million-dollar%20town%2C%20and%20nearly%20half%20of%20Barnstable's%2C%20which%20is%20Cape%20Cod.%20Middlesex%20comes%20sixth.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20%E2%9C%8F%EF%B8%8F%20B%20%C2%B7%20Check%20Against%20the%20Server%0A%0A%20%20%20%201.%20Count%20every%20town%20per%20county%20with%20%60town_table%60%2C%20%60.group_by()%60%20and%20%60.agg()%60.%20The%20server%20counts%20them%20too%2C%20in%20%60ma_counties%60%2C%20and%20%60pl.DataFrame(ma_counties)%60%20turns%20that%20list%20of%20records%20into%20a%20table.%20Do%20the%20two%20agree%3F%20*Check%20yourself%3A%20Worcester%2060%2C%20Middlesex%2054%2C%20Essex%2034%2C%20and%20all%2014%20agree.*%0A%20%20%20%202.%20Which%20five%20towns%20of%20more%20than%2050%2C000%20people%20have%20the%20highest%20average%20single-family%20bill%3F%20Use%20%60.filter()%60%2C%20%60.sort()%60%20and%20%60.head()%60.%20*Check%20yourself%3A%20Brookline%2C%20Newton%2C%20Cambridge%2C%20Somerville%2C%20Quincy.*%0A%0A%20%20%20%20**Going%20further.**%20Ask%20the%20towns%20a%20question%20of%20your%20own%20that%20needs%20%60.filter()%60%2C%20%60.group_by()%60%20and%20%60.sort()%60%20together.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%203.%20The%20Same%20Question%20in%20SQL%0A%0A%20%20%20%20**This%20is%20SQL%2C%20a%20second%20language%2C%20asking%20A's%20question%20once%20more.**%20SQL%20is%20how%20databases%20are%20asked%20questions%2C%20and%20from%20next%20week%20the%20course%20builds%20and%20queries%20a%20database.%20For%20now%2C%20read%20it%3B%20you%20will%20write%20SQL%20in%20the%20database%20sessions.%0A%0A%20%20%20%20Behind%20a%20SQL%20cell%20is%20DuckDB%2C%20a%20database%20that%20runs%20inside%20the%20same%20Python%20as%20your%20notebook.%20The%20data%20stays%20in%20your%20DataFrames.%20When%20the%20cell%20runs%2C%20DuckDB%20looks%20up%20the%20name%20in%20the%20%60FROM%60%20line%2C%20here%20%60town_table%60%2C%20among%20the%20notebook's%20variables%20and%20reads%20that%20DataFrame%20as%20a%20table.%20Its%20answer%20comes%20back%20as%20a%20DataFrame%20too.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(mo%2C%20town_table)%3A%0A%20%20%20%20towns_over_threshold%20%3D%20mo.sql(%0A%20%20%20%20%20%20%20%20f%22%22%22%0A%20%20%20%20%20%20%20%20SELECT%20county%2C%20COUNT(*)%20AS%20towns%0A%20%20%20%20%20%20%20%20FROM%20town_table%0A%20%20%20%20%20%20%20%20WHERE%20average_single_family_value_dollars%20%3E%3D%201000000%0A%20%20%20%20%20%20%20%20GROUP%20BY%20county%0A%20%20%20%20%20%20%20%20ORDER%20BY%20towns%20DESC%0A%20%20%20%20%20%20%20%20%22%22%22%0A%20%20%20%20)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20Read%20it%20top%20to%20bottom%3A%20%60SELECT%60%20names%20the%20columns%20of%20the%20answer%2C%20%60FROM%60%20the%20table%2C%20%60WHERE%60%20keeps%20some%20rows%2C%20%60GROUP%20BY%60%20makes%20one%20group%20per%20county%2C%20%60COUNT(*)%60%20counts%20each%20group%2C%20and%20%60ORDER%20BY%20...%20DESC%60%20puts%20the%20largest%20first.%20Like%20the%20polars%20version%2C%20it%20describes%20what%20you%20want%20and%20leaves%20the%20how%20to%20the%20computer.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20%E2%9C%8F%EF%B8%8F%20C%20%C2%B7%20Raise%20the%20Bar%0A%0A%20%20%20%20In%20the%20SQL%20cell%2C%20%601000000%60%20is%20the%20bar%20a%20town's%20average%20home%20value%20has%20to%20reach.%20Before%20you%20change%20it%20to%20%602000000%60%2C%20predict%20in%20a%20markdown%20cell%20under%20this%20question%3A%20which%20counties'%20counts%20can%20go%20down%2C%20and%20can%20any%20go%20up%3F%20Then%20make%20the%20same%20change%20in%20the%20polars%20cell%20that%20counts%20million-dollar%20towns%2C%20and%20run%20both.%20*Check%20yourself%3A%20both%20give%20Dukes%2C%20Middlesex%20and%20Norfolk%202%20each%20and%20Nantucket%201%2C%20which%20is%207%20towns.*%0A%0A%20%20%20%20**Going%20further.**%20Write%20a%20SQL%20query%20of%20your%20own%20on%20%60town_table%60%2C%20and%20check%20its%20answer%20in%20polars.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%204.%20The%20First%20Chart%0A%0A%20%20%20%20Draw%20the%20share.%20%60.plot.bar()%60%20on%20a%20DataFrame%20draws%20one%20bar%20per%20row%2C%20with%20a%20library%20called%20**altair**.%20%60alt.X()%60%20and%20%60alt.Y()%60%20name%20each%20axis's%20column%20and%20give%20it%20a%20title%20a%20reader%20can%20understand%2C%20and%20%60.properties(title%3D...)%60%20states%20what%20the%20chart%20shows.%0A%0A%20%20%20%20-%20Putting%20the%20county%20on%20%60y%60%20lays%20the%20bars%20on%20their%20side%2C%20so%20every%20county's%20name%20reads%20across.%20%60sort%3D%22-x%22%60%20puts%20the%20longest%20bar%20first.%0A%20%20%20%20-%20%60axis%3Dalt.Axis(format%3D%22%25%22)%60%20writes%20a%20share%20of%20%600.25%60%20as%2025%25.%0A%0A%20%20%20%20Wrap%20it%20in%20%60mo.ui.altair_chart()%60%2C%20which%20is%20how%20marimo%20shows%20an%20altair%20chart%20of%20any%20size.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell%0Adef%20_(alt%2C%20million_dollar_share%2C%20mo)%3A%0A%20%20%20%20million_dollar_chart%20%3D%20mo.ui.altair_chart(%0A%20%20%20%20%20%20%20%20million_dollar_share.plot.bar(%0A%20%20%20%20%20%20%20%20%20%20%20%20y%3Dalt.Y(%22county%22%2C%20sort%3D%22-x%22%2C%20title%3D%22County%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20x%3Dalt.X(%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%22share%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20title%3D%22Share%20of%20towns%20averaging%20%241%2C000%2C000%20or%20more%22%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20%20axis%3Dalt.Axis(format%3D%22%25%22)%2C%0A%20%20%20%20%20%20%20%20%20%20%20%20)%2C%0A%20%20%20%20%20%20%20%20).properties(title%3D%22Every%20town%20in%20Dukes%20and%20Nantucket%20averages%20%241%20million%20or%20more%22)%0A%20%20%20%20)%0A%20%20%20%20million_dollar_chart%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%60.plot.point()%60%20and%20%60.plot.line()%60%20work%20the%20same%20way.%20matplotlib%20is%20another%20charting%20library%2C%20and%20you%20will%20meet%20it%20in%20other%20people's%20code%3B%20%5BPython%20%C2%A729%5D(%2Fhandbooks%2Fpython%2F03-data%2F%2329-a-chart-with-labeled-axes)%20shows%20one%20chart%20in%20each.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%23%20%E2%9C%8F%EF%B8%8F%20D%20%C2%B7%20A%20Chart%20of%20Your%20Own%0A%0A%20%20%20%20Choose%20a%20question%20one%20chart%20can%20answer%2C%20from%20the%20data%20you%20saved%20for%20Mini%20Project%202%20or%20from%20%60town_table%60.%20Draw%20it%20with%20titled%20axes%2C%20and%20a%20title%20that%20states%20what%20it%20shows.%0A%0A%20%20%20%20*Check%20yourself%3A%20somebody%20who%20has%20not%20seen%20this%20notebook%20can%20say%20what%20each%20axis%20measures.*%0A%0A%20%20%20%20**Going%20further.**%20Color%20the%20bars%20or%20dots%20by%20a%20column%20with%20%60color%3D%60%2C%20and%20explain%20what%20the%20colors%20add.%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20%23%20%F0%9F%9A%80%20This%20Week's%20Work%0A%0A%20%20%20%201.%20**What%20is%20due%20is%20listed%20under%20*Before%20next%20session*%20in%20the%20post-class%20notes.**%20I%20post%20them%20on%20the%20session%20page%20after%20each%20class%2C%20with%20the%20sections%20we%20reached%2C%20and%20the%20checkpoint%20on%20Canvas%20lists%20the%20same%20items.%0A%20%20%20%202.%20**%5BMini%20Project%202%5D(%2Fassignments%2Fmini-project-2%2F)**%2C%20due%20Sunday%2010%2F25%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0A%40app.cell(hide_code%3DTrue)%0Adef%20_(mo)%3A%0A%20%20%20%20mo.md(r%22%22%22%0A%20%20%20%20**Self-check%3A**%0A%0A%20%20%20%20-%20%5B%20%5D%20I%20can%20save%20a%20list%20of%20records%20to%20a%20CSV%20file%20and%20read%20it%20back%20with%20the%20%60csv%60%20module%0A%20%20%20%20-%20%5B%20%5D%20I%20can%20explain%20why%20every%20value%20the%20%60csv%60%20module%20reads%20is%20text%20until%20I%20convert%20it%0A%20%20%20%20-%20%5B%20%5D%20I%20can%20read%20a%20CSV%20into%20a%20DataFrame%20and%20ask%20it%20its%20shape%20and%20its%20column%20types%0A%20%20%20%20-%20%5B%20%5D%20I%20can%20filter%2C%20sort%20and%20group%20a%20DataFrame%0A%20%20%20%20-%20%5B%20%5D%20I%20can%20read%20a%20short%20SQL%20query%20and%20explain%20what%20it%20asks%0A%20%20%20%20-%20%5B%20%5D%20I%20can%20make%20one%20chart%20from%20a%20DataFrame%20and%20title%20its%20axes%0A%20%20%20%20%22%22%22)%0A%20%20%20%20return%0A%0A%0Aif%20__name__%20%3D%3D%20%22__main__%22%3A%0A%20%20%20%20app.run()%0A